据史料记载,方世玉性情刚烈,自幼就横行乡里,喜欢与其他孩子们打斗。十几岁时,方世玉被父亲方德送到少林派学艺,虽然身形矮胖,但仗着一身不怕打的功夫,每次斗殴时都冲锋在前,两位兄长在打斗中都难免受伤,却只有方世玉安然无恙。