永州文庙座落在芝山城东，与永州市五中校园一墙之隔，撤区建市前称为零陵县文庙。永州文庙始建于宋朝喜定初年（公元1208年），原址在河西愚溪桥左，后曾六次迁移改建，四易其地。文庙在封建社会里是一县的最高学府，每年要在这里举行岁试和科试。岁试谷称考秀才，科试是选送优等学生参加在省府举行的会试。

    古文庙建筑规模庞大。大成殿前面有三门，中间仪门，两侧戟门。仪门外有青云桥，架于泮池之上，池外筑有“宫墙”。大成殿后有“崇圣祠”，供奉孔子之父叔梁纥的牌位。大成殿左面是“明伦堂”，堂内竖有朱熹写的“忠孝”、“廉洁”匾额。明伦堂下有两个书房，一为“育才斋”，是儿童学习的地方；一为“兴贤斋”，是举人秀才的住处。右面是“乡贤祠”，还有“名宦祠”、“孝子祠”、“节妇烈女祠”等建筑，均毁于五十年代初期。文庙现存的建筑有大成殿和东西两庑，面积约700平方米。大成殿的神台上原来供大体上着木刻朱地金字“大成至圣先师孔子神位”，两侧有四子配（复圣颜子，述圣子思，宗圣曾子，亚圣孟子）和十二哲（闵子、冉子、促、宰我、子贰、冉求、季路、子由、子夏、子张、有若、朱熹）的牌位。殿内垛柱上原挂有“德配天地”、“万世师表”、“与天地参”、“圣神天纵”等匾额。大成殿两侧的东西两庑称“配享从祀”。“从祀”的“先贤先儒”牌位是朱底黑字。左侧东庑在明朝以前供奉董仲舒、程灏等47人牌位。清道光年间增至65人。右侧西庑在明朝以前供奉张载、程颐等47人牌位，清道光年间增至56人。民国时期及以前，每年农历二月和八月上旬的丁日，县内大小官吏和儒生，都要聚集文庙举行祭典，行三跪九叩大礼，先孔子，后拜“四配”、“十二哲”和“崇圣祠”等。五十年代初，殿堂内外的牌位、匾额均被毁；两庑曾改作零陵县四中（永州市五中的前身）的学生宿舍，现在是芝山区文管所的办公室及储藏室等。

    永州文庙虽饮经风雨沧桑，但作为古建筑，仍以其规模之宏大，气势之雄伟，备受世人瞩目。现存的大成殿坐北朝南，建于高1.7米的台基上，台基及月台用青石筑砌。两庑各长35.8米，宽9.3米。大成殿是典型的宫殿式建筑，殿高13米，庄严雄伟，富丽肃穆，彩绘斗拱，疏朗宏大，歇山重檐，翼角高，屋顶黄色琉璃瓦，金碧辉煌，两条彩龙匍匐屋，托着一宝葫芦，极为壮观。大成殿前檐下有汉白玉柱及青石柱各两根，柱上是龙盘凤舞的浮雕，两根木柱上亦刻着蟠龙、飞凤，额枋为“双龙抢珠”等镂空木雕，殿前石阶有石狮、石象各一对，月台中部前方的石丹墀上有浮雕的大小五条盘旋云龙。此外，殿后还存有玉石碑一块，立于青石刻的乌龟背山，碑文系清咸丰元年（1851年）重刻的清圣祖御制《圣对赞》，石碑两边的雕刻十分精巧。所有这些木雕、石刻的飞禽、走兽、花卉、人物等，都各具风采，造型生动逼真，雕琢玲珑剔透，堪称艺术珍品。