黑龙江中医药大学附属第二医院的前身为黑龙江中医学院附属医院门诊部。于1963年3月1日正式成立，地处哈尔滨市南岗区原奋斗路357号，占地面积约2000平方米，建筑面积约3200平方米。
1992年5月，黑龙江中医学院为了优化办学结构，提高办学效率，促进教学、医疗、科研工作的有机结合，研究决定拟成立黑龙江中医学院附属第二医院，上报省政府审批。
1992年8月3日， 省编委下发文件，正式批复成立“黑龙江中医学院第二附属医院（针灸推拿专科医院）”。同时经省政府、省中医管理局批准，第二附属医院与针灸系实行“院系合 一”的新的管理体制，统筹做好教学、医疗、科研、学生教育管理、党建、行政等各个方面的工作，实现了党、政统一领导。
1992年8月8日，黑龙江中医学院附属第二医院正式挂牌成立。建院时，设病床200张，拥有房舍7000余平方米。
以1995年7月通过“三级甲等医院” 检查评审为转折，1996年4月成立“全国中医中风病医疗中心” 为标志，附属第二医院进入了全面、持续发展阶段。
1995年初医院被评为“全省百家信得过医院”，为争创“三甲”赢得重要筹码，增加了医院职工的信心和决心。在全院上下的齐心努力下，于1995年7月18日顺利通过黑龙江省中医医院评审委员会的全面评审，被省中医管理局批准为“三级甲等中医院”。至此，黑龙江中医学院附属二院仅用近三年时间就完成了创建初期的既定目标，完成了从“针灸推拿专科医院”向具有针灸推拿特色的“综合性大型中医医院”迈进的重大转折。1995年10月25日，地方中医药管理局批准黑龙江中医学院附属二院为“全国中医中风病医疗中心建设单位”。
1996年4月，“全国中医中风病医疗中心”在医院成立。
1996年，随着大学的更名，我院亦同时更名为“黑龙江中医药大学针灸推拿学院暨附属第二医院”
2004年2月，孙忠人担任院长，孙忠人上任之初即提出坚持新医疗楼建设不动摇，并想方设法筹措资金将在医院原址兴建新医疗大楼的构想付诸行动，
并于2005年3月末正式破土动工，于2007年6月竣工。
2007年8月18日，医院举行新医疗大楼落成暨建院十五生日庆祝典。
2009年年底医院收入首先突破亿元大关。
2011年，在医院“十二五”规划的开局之际，医院提出了建设“优势突出、特色鲜明的高水平现代化中医院”的宏伟目标，也是这一年，医院收入首先突破2亿元，实现了跨越式的发展。医院也相继在创建平安医院、群众满意医院、“三好一满意”医院等系列活动中，取得令人满意的成绩。
2011年3月15日，经黑龙江省中医药管理局批准，黑龙江省针灸推拿康复医疗中心正式落户中医大二院。
2011年4月28日，我院治未病体检中心和昌泰大药房正式对外营业。
2011年12月22日，黑龙江中医药大学康复医学院正式成立，划归中医大二院管理。
2013年，医院投资购买征仪路567号房产，筹建跃进社区卫生服务中心。
2013年，医院着手启动在哈南分院建设工作。