李侗出身于一个官宦家庭。自幼受到良好的家庭教育。祖父李修在北宋末年中进士,金人入侵时,欲以蜡丸书通中原,谋泄被杀。父李郁在北宋末弃官隐居浦城,入元祐党籍,其杜门著述,州里重之。父亲去世后,家道中落,生活贫困。“早岁从延平晦翁游,闻见益广,益痛自刻厉”。在家庭传统教育和师友的熏陶下,李侗形成了积极进取的人生态度和注重道德修养的人格特征。