训练神经网络(第一部分)

训练神经网络（第一部分） 我们可以通过反向传播和梯度下降算法优化神经网络的权重，还仍然要考虑一些其它的细节。 选择恰当的激活函数，进行数据预处理，对神经网络权重进行初始化，对神经网络的中间输出结果进行batch normalization。 激活函数事关输出是否饱和、梯度是否消失，预处理事关特征工程和幅度缩放，恰当的权重初始化能够使输出输入方差相同，batch normalization则可以起到正则化和归一化的作用，加快收敛。