回雁峰靠近湘江之滨，在衡阳湘江上的公路、铁路两用桥附近。立在回雁峰，不仅可俯瞰大桥，还可总观衡阳城全貌。

    回雁峰为南岳七十二峰之首。据史籍记载，北来的大雁南飞至衡阳，就感到春天般的温暖，便敛翅不再南飞了，以待翌年春暖花开，又飞往北方。

    回雁峰的山门是一座石砌牌坊，横匾上刻有“上达”二字，铁划银钩，苍劲有力，为清代著名学者王船山手迹。匾额后背刻有“莫作等闲观”五个大字，发人深思。

    过山门不远，有半山亭。彩色的琉璃瓦顶，四根朱红立柱，亭角飞翘，亭顶系伞形，可以遮阳亦可避雨，供游人歇息之用。

    再往上走，越过“百步云梯”，到达顶峰，遗址仅存一古刹。据古籍记载，远在南北朝，峰上就建有寺庙，梁武帝时所建的寺称乘云寺，唐以后改称雁峰寺，距今将近一千五百余年，它与花药寺、西禅寺、罗汉寺并称为衡阳佛教禅宗四大寺院，历代高僧至此皆来参禅。

    回雁峰海拔96.8米，山虽不高，因历史名人的诗文以它为典故者甚多，文因景成，景借文传，故名扬天下。唐代诗人王勃在《滕王阁序》中有“雁阵惊寒，声断衡阳之浦”佳句。伟大诗人杜甫曾居衡阳，留下了“万里衡阳雁，今年又北归…………”的诗句。杜鹤、高适、文天祥、范仲俺等都留有脍灸人口的诗文。又因明未清初的大思想家王夫之出生于此，南宋大理学家周敦颐从小在衡州舅父家成长，人文荟萃。使回雁峰名胜古迹更是名溢中外。