可在手机端部署的大模型

MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型。MiniCPM 是一个有 24 亿（2.4B）非词嵌入参数量的大型语言模型，具有出色的性能表现。通过 SFT 与 DPO 的优化，MiniCPM 在各种公开的评测集上，包括 MTBench 等，都展现出优秀的性能，甚至超越了 Llama2-13B、MPT-30B、Falcon-40B 等现有的模型。值得一提的是，MiniCPM 还能以 Int4 的形式进行量化，准确率损失较小，既降低了存储和计算的成本，还使得模型能在手机等端侧设备上顺利部署，实现实时推理。