1956年,上海电影制片厂拍摄电影《铁道游击队》,《弹起我心爱的土琵琶》是专门为该片创作的插曲。当时,作曲家吕其明认为这部电影情节紧张,为了体现游击队员的革命乐观主义精神,并且缓解观众的紧张情绪,向导演赵明建议,应当为这部影片谱写一首优美动听的主题歌,赵明对他的提议表示赞同。吕其明随即请上海诗人芦芒、何彬创作了歌词。 吕其明在作曲时,想起了他见过的身穿便衣,扎着子弹带,手拿套筒枪或大刀的游击队员的形象,采用山东民歌中富有典型意义的调式落音、音调。