13. 随机梯度下降与动量法 - 深度学习理论实践演示

我们将在本实验中，逐一介绍深度学习中常用的基础优化算法，它们在很多实际问题中都能够训练出十分有效的深度学习模型。首先，我们将复习梯度下降（Gradient Descent）的工作原理。虽然梯度下降在深度学习中很少被直接使用，但理解梯度的意义以及沿着梯度反方向更新自变量可能降低目标函数值的原因是学习后续优化算法的基础。随后，我们将引出 随机梯度下降（Stochastic Gradient Descent）、小批量随机梯度下降 和 动量法。 ======================== 个人用户获取视频内相关代码及数据集，请微信搜索小程序【跨象乘云AI补习社】访问订阅。注：全部实验演示视频、代码、数据集仅授权予个人用户学习与实验使用。禁止用于二次销售、分发传播、课堂教学及培训用途。校企用户采购请通过微信公众号【跨象乘云】与客户经理联系。