香零山位于芝山城东茆桥对面的潇水河心部位，是由天然的石灰岩构成的河中小岛，据光绪《零陵县志》记载：“郡以此名，地产香草，其叶如罗勒，香闻数十步，唐世上供，郡人苦之，刺史韦宙奏罢之”。香零山，东西长20米，南北宽5米，高出水面8米。蒋本厚记云：“芳香流荡荡，如贴水芙蓉，与波明灭，致秋高水落，亭亭孤峙，不可攀跻，予泊舟其下，明月东来，江水莹白，独坐揽秋，觉草木皆有香气、知古人命名殊不草之”。唐柳宗元写有《登蒲州石矶望横江口潭岛深迴斜对香零山》诗。香零山地处潇水中流、形势险要，每当春夏水涨，偶有撑舟排误触此山，故清王德榜等人倡建观音阁于其上，招僧侣，设船只，白天击钟声，晚上点灯火，以示过往船只注意。传说此山古代盛产香草，清香四溢，历代王朝列为贡品，称之为“香零山。”香零山，风景幽美，有“香零烟雨”之称，为永州八景之一。

    香零山上的观音阁建于清同治癸酉年（1863年），现塑有观世菩萨泥像。柳宗元，徐霞客曾登此山，留有诗作、游记。河中小岛在雨后日出时，烟锁山脚，若隐若现，往来舟楫，白帆点点。游人至此，有如置身烟波浩渺之中，故有“香零烟雨”之誉。