下溪村是桂阳邓氏的开基之地之一。桂阳邓氏族谱记载,桂阳邓氏始迁祖少卿公于宋仁宗时由九嶷偕弟至桂阳,卜居桂阳郡北下溪岐山,至今邓氏已经在桂阳生活了九百多年了。 下溪村流传一个久远的传说,他们的一个先祖做秀才时到衡阳读书,经过桂阳与永兴县交界的鸡公石岭,岭上住着一位黄婆。秀才曾在州城西的大凑山了解到一些矿冶知识,发现这一带矿脉明显,于是把整个山买下来,开始在这里开矿。秀才的这个矿就叫做黄婆窿,即今天的雷坪有色金属矿。这位秀才就是桂阳邓氏十世祖彬仲。彬仲的两个儿子均善、均玉均考取功名,皆为县令。均善、均玉这两位在沿海地区做过县令的官员,他们具有开放性与前瞻性的见识。去官回乡后他们并没有安逸地颐养天年,而是积极协助父亲一起开矿、立庄,家族迅速发达起来。雷坪有色金属矿是桂阳还在开采的大矿之一,彬仲父子就是它的开创者,这正是下溪人一直引以为豪的地方。