理解反向传播

当前馈神经网络用于接受输入 x 并产生输出 y 时,信息向前流过所有网络元素。输入 x 提供的信息然后传播到每层的隐藏单元并产生 y。这称为前向传播。在训练期间,前向传播会继续向前,直到它产生标量时消耗了 J(\theta) 成本。反向传播算法(通常称为反向传播)允许来自成本的信息随后向后流过网络以计算梯度。

计算梯度的解析表达式很直接,但是在数值上评估这样的表达式可能在计算上代价很高。 反向传播算法使用简单且廉价的过程来实现这一过程。

反向传播仅指计算梯度的方法,而另一种算法,如随机梯度下降,是指实际机制。

关于 “理解反向传播” 的 1 个意见

发表评论

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据