定义前馈网络

深度前馈网络,也称为前馈神经网络,有时也称为多层感知器(Multilayer Perceptrons, MLP)

前馈网络的目标是逼近 f* 函数。例如,对于一个分类器,y=f*(x) 将输入 x 映射到一个标签 y 。而前馈网络定义了从输入到标签的映射 y=f(x;\theta) 。它学习参数θ的值,然后得到最佳函数逼近。

我们在《第五章 递归神经网络》中讨论 RNN。前馈网络是通往复杂网络之路的一个概念性基石,它为许多自然语言应用提供动力。前馈神经网络被称为网络,因为它们将许多代表它们的不同功能组合在一起。这些函数由有向无环图组成。

该模型与描述函数如何组合在一起的有向非循环图相关联。例如,有三个函数 f(1)f(2),和 f(3) 构成了 f(x)=f(3)(f(2)(f(1)(x)))。这些链结构是最常用的神经网络结构。在这个例子中,f(1) 被称作网络的第一层。f(2) 被称作第二层,等等。链条的总长度给出了模型的深度。正是从这个术语中出现了深度学习的名称。前馈网络的最后一层称为输出层

该图展示了一个神经网络,该神经网络包含由输入x激活的多个函数。

这些网络被称为神经网络,因为它们受到神经科学的启发。 每个隐藏层都是一个向量。 这些隐藏层的维度决定了模型的宽度。

发表评论

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据