该集团军的历史可追溯至1928年参加平江起义的湘军独5师第1团,之后汇入中国工农红军第五军,因此7月22日(平江起义日期)为第三十八集团军的纪念日。在解放战争中,其名称为“东北民主联军第一纵队”,于1948年11月改称“中国人民解放军第三十八军”。在朝鲜战争第二次战役中表现出色,被彭德怀誉为“万岁军”,其中松骨峰阻击战成为作家魏巍《谁是最可爱的人》的主要题材。