柴家集位于徽县北境麻沿河镇西部老人山附近的柴家山下,以柴姓居多。柴氏后裔说,柴氏先祖系明朝中后期自四川迁徙而来。当年,柴氏兄弟从四川迁徙至此,一家在山上安身,另一家在山下安家。柴氏兄弟各自带领家人,开荒种田,经营买卖,几十年后,山上山下人丁兴旺,往来商贾在此云集,逐渐形成集市,于是,人们把这个地方称为柴家集。