91式手榴弹是日本帝国陆军十式破片手榴弹/枪榴弹的改良版。虽然它作为手榴弹的功能在第二次世界大战爆发时即被九七式取代,在第二次中日战争的一些单位、后备部队,以及日本海军海军特别陆战队仍有使用。日本陆军在察觉手榴弹属于近战武器后,开始为步兵的近距离打斗进行手榴弹的改良。最早造出的手掷式破片榴弹为十式。在十式手榴弹配给前线部队不久后,发现了一系列的问题。手掷时引信装置的不稳定与不精确导致十式手榴弹对投掷者而言,几乎与对被投掷者而言几乎同样危险。此外,十式手榴弹被视为过小并欠缺杀伤力。在1931年日本陆军技术局开发了一个意图解决这些问题的改良版。在仔细研究手榴弹与迫击炮在战场上的使用后,日本陆军开发了一个包含手榴弹、枪榴弹,以及榴弹/轻型迫击炮弹的统一系统以适应各种例如都市、壕沟,以及丛林等等的近距离战斗环境。