白鹿寺，建在资江南岸的白鹿山上，距离资江一桥仅200余米。它始建于唐代宪宗元和年间，古寺鼎盛时期有四进，第一进为弥勒佛殿，左右为四大天王；第二进为观音殿，左右为佛学堂；第三进为大雄宝殿，左右为十八罗汉，左厢房为禅堂，右厢房为斋房，第四进为药师殿、藏经楼。住寺和尚有300多人，是益阳最大的一座寺庙。

    白鹿寺的名字，缘于一个神话故事。唐代名相裴林，贬任荆南节度使时，曾几度来益阳，小住在古木葱郁的江边山上。裴林博学多能，喜欢佛学，夜深人静，他便在山上秉烛夜读，朗朗的诵经声，引得一只仙白鹿驻足聆听，每晚只要经声响起，仙白鹿就飞来听经。一天晚上，白鹿听经的秘密被人发现，仙机泄露，再也不见有白鹿复来。为纪念仙白鹿听经，山民便把白鹿驻足听经的风水宝地，命名为白鹿山，在山下建了一座庙，取名为白鹿寺。白鹿寺在清代，和尚多，香火盛，名气大，尤其叫人称奇叫绝的是寺内的那一口一千公斤重的古铜钟，声极洪远，堪称古城钟王。夜晚，和尚上香的钟声，响彻古城十里麻石街，悠扬的钟声，飘逸清盈，震撼心灵，净化灵魂。因此，人们把“白鹿晚钟”，列为了益阳的十景之一。古白鹿寺，几经苍桑，荡然无存。如今的白鹿寺，是1987年以来，落实宗教政策，经政府批准同意，群众集资，白鹿寺老和尚佛源法师大力捐资，重新在白鹿后山修建而成。寺庙傍山而建，已建好两进。临街山门，雄伟壮观，红墙拱门，气派恢宏，大大超过了古寺山门。