相传唐朝时期,前人在怀让禅师曾经讲法之处古枫林边开山凿石,修建了一座寺庙,这就是最初的祖师殿。从山脚拾级而上,共108级青石阶。院内生长着挺拔苍翠的古腊树,其中一株寄生在槐树上,又称“槐抱腊”,是殿内一奇景。正殿左右分为钟楼、鼓楼。相传正殿上方“祖师殿”三字是雍正皇帝亲笔所书。祖师殿毁于1972年,现祖师殿为2004年重建,仅存古樟两株,古枫两株。