以前黄姚最早的居民是黄姓瑶族,他们以种红薯、水稻、种桑养蚕为生,然后把农产品挑到姚江下游的农村出售,如有人问:“这些东西是哪里来的?”人们会告知是黄姓的瑶族人从上面挑来的。说来说去,黄姓的瑶族人就变成了黄瑶。那时候,说瑶族的“瑶”字有歧视的意思,后改为“姚”字。