理解反向传播

当前馈神经网络用于接受输入 并产生输出 时，信息向前流过所有网络元素。输入 提供的信息然后传播到每层的隐藏单元并产生 。这称为前向传播。在训练期间，前向传播会继续向前，直到它产生标量时消耗了 成本。反向传播算法（通常称为反向传播）允许来自成本的信息随后向后流过网络以计算梯度。

计算梯度的解析表达式很直接，但是在数值上评估这样的表达式可能在计算上代价很高。 反向传播算法使用简单且廉价的过程来实现这一过程。

反向传播仅指计算梯度的方法，而另一种算法，如随机梯度下降，是指实际机制。