超级段子手大咖李宏毅团队出品：深度神经网络压缩之模型蒸馏

Network Compression (12) Knowledge Distillation ( Hinton在NIPS2014 提出了知识蒸馏（Knowledge Distillation）的概念，旨在把一个大模型或者多个模型ensemble学到的知识迁移到另一个轻量级单模型上，方便部署。简单的说就是用新的小模型去学习大模型的预测结果，改变一下目标函数。