当前馈神经网络用于接受输入 并产生输出
时,信息向前流过所有网络元素。输入
提供的信息然后传播到每层的隐藏单元并产生
。这称为前向传播。在训练期间,前向传播会继续向前,直到它产生标量时消耗了
成本。反向传播算法(通常称为反向传播)允许来自成本的信息随后向后流过网络以计算梯度。
计算梯度的解析表达式很直接,但是在数值上评估这样的表达式可能在计算上代价很高。 反向传播算法使用简单且廉价的过程来实现这一过程。
反向传播仅指计算梯度的方法,而另一种算法,如随机梯度下降,是指实际机制。
关于 “理解反向传播” 的 1 个意见
您必须登录才能发表评论。