方世玉,乾隆年间人,祖籍广东肇庆,父亲方德是丝绸商人,其为方德与第二个妻子苗翠花所生。其上有两个哥哥分别为方孝玉、方美玉,为方德与第一个早逝的妻子李氏所生。据史料记载,方世玉性情刚烈,自幼就横行乡里,喜欢与其他孩子们打斗。