《知识蒸馏：全面综述》KnowledgeDistillati

《知识蒸馏：全面综述》 Knowledge Distillation: A Survey 🔥 知识蒸馏全景图 | 大模型瘦身术 | 暗知识的秘密 | AI民主化引擎 | 师生架构革命 作者: Jianping Gou, Baosheng Yu, Stephen J. Maybank, Dacheng Tao 机构: 悉尼大学 UBTECH AI Centre + 伦敦大学伯贝克学院 发表: IJCV 2021 | 引用 3600+ 💡 一句话总结 这篇3600+引用的「知识蒸馏百科全书」，把大模型教小模型的所有方法论一次性讲透了——从"教什么"（三类知识）、"怎么教"（三种方案）、到"谁来教"（五种架构），堪称模型压缩领域的终极地图。 🔬 核心发现 ① 知识分三种：响应知识（看答案）、特征知识（看解题过程）、关系知识（理解题目关联）。就像考试——三种维度层层递进 ② 蒸馏方案三派：离线蒸馏（先训大再教小）、在线蒸馏（同时训练互学）、自蒸馏（自己教自己） ③ 五种师生架构：单师单生→多师多生→辅助教学。核心发现：老师太大反而教不好——容量差距是关键瓶颈 ④ 无数据蒸馏（Data-Free KD）是前沿：不需要原始数据，用生成模型"幻想"数据，隐私场景必备 ⑤ 应用覆盖极广：视觉/NLP/语音/推荐/对抗防御——知识蒸馏已成AI工程化基础设施 🧭 深度解读 知识蒸馏的本质是"AI民主化"——把10亿参数压缩到1000万，让手机也能跑AI。Hinton的核心洞见：softmax里非最大值的小概率才是"暗知识"，AI的"犹豫"比"确定"更有价值。容量差距问题启示我们：不是模型越大越好，匹配度才重要。自蒸馏更优雅——最好的老师就是"昨天的自己"。 🎯 对我们的启发 💼 职业：模型压缩工程师是AI落地最稀缺岗位，懂蒸馏=懂商业化 📚 学习：把核心概念吃透比刷100篇论文有用 💻 代码：用DistilBERT替代BERT，速度提升5-10倍，精度损失<3% 💡 思维：输出倒逼输入是最有效的学习——自蒸馏证明了这一点 💬 今日金句 「知识蒸馏的本质，是把AI的'犹豫'变成'确定性'——那些softmax里非最大值的小概率，恰恰是大模型最珍贵的暗知识。」 🔗 原文链接 https://doi.org/10.1007/s11263-021-0145