白鹿寺位于资江南岸的白鹿山上，建于唐代宪宗元和年间，距今约1200年历史，是益阳最大的一座寺庙。
古寺鼎盛时期有四进，第一进为弥勒佛殿，左右为四大天王；第二进为观音殿，左右为佛学堂；第三进为大雄宝殿，左右为十八罗汉，左厢房为禅堂，右厢房为斋房，第四进为药师殿、藏经楼。白鹿寺在清代，和尚多，香火盛，名气大，尤其叫人称奇叫绝的是寺内的那一口一千公斤重的古铜钟，声极洪远，堪称“古城钟王”。
如今的白鹿寺临街山门，雄伟壮观，红墙拱门，气派恢宏，大大超过了古寺山门。第一进为市佛教协会和佛教堂，右厢为迎客厅和一栋三层楼的禅房，是全市30多位尼姑的宿舍。旧白鹿寺全部是和尚住寺，新白鹿寺则全部由尼姑操持。
白鹿山顶，是一座新修的大雄宝殿，殿内佛像金光闪闪，佛幡条幅五光十色，木鱼声声，香火飘绕，烧香拜佛的善男信女络绎不绝。游罢佛殿经堂，下到第一进的“香客”休息室，可以和家人亲友，品品斋茶斋果，或进寺庙的斋食馆品尝斋席，体验一下出家人的生活情趣。