吴氏主祠堂(祖堂),有名叙睦堂,建于明代,21世纪后重建。吴姓在瑶里古镇人口最多,除此祠堂外,在本地还有宏毅祠等多处支祠堂。吴姓的开氏始祖是《史记》记载的天下第一世家——吴太伯世家,瑶里吴氏最早可追诉到西汉初诸侯王吴芮,秦时任番阳(今江西省鄱阳)县令,因助汉高祖称帝有功,被封长沙王。吴氏宗祠内完好地保留有历代传下的族谱,是国内研究吴氏历史、风俗的孤本。