哈尔滨工程大学档案工作始于1978年哈尔滨船舶工程学院时期开始设立的文书档案岗位。1982年，学院成立了科技档案室，成为学校第一个档案工作常设机构。1991年3月，学院正式成立档案馆，是学校直属的处级单位。哈尔滨工程大学档案馆既是学校档案工作的行政管理部门，又是提供档案利用服务的业务部门, 同时，也是哈军工历史文化展示、传承、研究的部门。档案馆现设有综合档案服务利用中心、教学档案服务利用中心、科研项目档案服务利用中心、校史资源开发编研中心、档案宣传与信息技术中心6个职能科室。