祠堂始建时为三进八扇一后院,规模较大,占地1008平方米;外墙为砖石结构,内为木质结构的宫式斗拱建筑。该祠清顺治年间被毁,康熙年间曾修后进和后院,乾隆年间又修戏台亭和回廊,1947年再建中间一进二层楼房和八角大戏台等。1985年,叶氏后裔、旅外华侨出资进行大规模修缮,并恢复原貌。