1982年,作词人梁上泉受战友之邀,到新疆军区体验生活。他看到公路边一排排参天白杨,翠绿挺立,便联想到英姿挺拔的战士们。后来,梁上泉又赴内蒙古呼伦贝尔大草原和大兴安岭林区体验生活,在中苏边境线上,座座哨所高高耸立,站岗的战士像白杨树一样挺立在边防线上。他因此有了作词的灵感,于1983年7月16日在呼伦贝尔写下了《小白杨》的歌词。与梁上泉同行的作曲人声茂看到歌词后为它谱了曲,但却未能传唱开来。不久,梁上泉把歌词发表在《解放军歌曲》上,作曲人士心看到后深受感动,并为其谱了曲,形成了最终版的歌曲《小白杨》。