简介机器学习中的重要概念：信息熵、交叉熵与KL散度

熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。在信息论里面，熵是对不确定性的测量。但是在信息世界，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。 在1948年，克劳德·艾尔伍德·香农将热力学的熵，引入到信息论，因此它又被称为香农熵(Shannon entropy)。而在贝尔实验室曾流传一则可信度不高的传闻：冯诺依曼建议香农为这个概念取名为“熵”，理由是这个热力学名词别人不懂，容易被唬住。