李君羡最早是瓦岗寨李密的下属,后来为王世充效力,因厌恶王世充的为人,便率领部下投靠了李渊。 李渊将李君羡封为轻车都尉,将他分配至李世民帐下。从此以后,李君羡便跟随李世民左右,他征战四方,立下许多军功,被封为武连县公,驻守太极宫玄武门。