来雁塔位于石鼓区合江套三汲矾上,与雁峰区回雁峰遥相对峙,故称。据清乾隆《衡阳县志·古迹》载:“万历辛己(1581),宗伯曾朝节倡郡人建浮屠其上……经十三载而告成。”其后,清嘉庆、道光、同治及民国年间均曾修葺,基本保持明代建筑风格。来雁塔系楼阁式砖石塔,坐北朝南,七级八楞,中空,通高36米,底边长7.3米。塔置于须弥座石基上,塔基施图案雕饰。门额为汉白玉石质,中镌“来雁塔”三个大字,系清同治年间兵部尚书彭玉群书丹。塔旁原建有山门和双练、印湘二亭,均废坛;宝瓶于1944年部分毁于战火。1989年,市政府对来雁塔进行全面维修,修复了塔体、塔檐以及各层檐角和塔顶上的鳌鱼、狮、龙、卷草等堆塑,复原了宝瓶、垂带踏跺和二、三级外檐上的石栏杆,恢复了山门。市长苏健民作《续修来雁塔记》,由文化局长李正南书丹,镌碑嵌于第一级门洞左壁。来雁塔于1959年和1974年两次公布为市级文物保护单位,1983年10月10日被公布为省级文物保护单位。