杨修的祖先杨喜于汉高祖时期建功,因而被封为赤泉侯。其后,杨修高祖杨震、曾祖杨秉、祖杨赐、父杨彪可谓一门四杰,历任司空、司徒、太尉,均为三公之位。可以说,杨家是两汉时期历史最古老的名门世家,而杨修正是在这样声名显赫的环境中长大成人。