反向传播算法（Backpropagation Backwards Pass）人工智能词典34

今天我们讨论的话题是反向传播算法，英文为Backpropagation（Backwards Pass）。神经网络使用基于梯度下降的优化器进行训练，通过优化网络权重(以及所有其他可学习的网络参数)的值，使得网络损失最小化。作为简短的回顾，我们来看一下网络训练一次迭代过程的总结。在以前课程中，我们已经解释过这个过程，我们把这个过程分解为5步来观察何时在训练过程中梯度下降使用反向传播算法。1.把输入数据传入网络，通过网络中每一层的处理，完成前向传播。2.得到网络的输出或预测值。3.用输出值和数据的真实标签计算得到网络的损失。4.完成反向传播，通过反向传播计算损失相对于每个权重的梯度。5.用计算得到的相应梯度更新网络权重，使损失最小化。正如我们在步骤4中看到的，梯度下降算法在训练过程中使用了一种叫做反向传播的工具来计算梯度。所以梯度下降算法是优化网络中的权重，以达到最小损失，这也是训练的整个目标。