电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛

标题: 常用神经网络模型及其应用评述 [打印本页]

作者: yuyang911220 时间: 2015-10-22 19:29 标题: 常用神经网络模型及其应用评述

神经网络是由大量处理单元（神经元）互相连接而成的网络，实际上ANN并不完全模拟了生物的神经系统，而是一种抽象、简化和模拟。神经网络的信息处理通过神经元的相互作用来实现，知识与信息的存贮表现在网络元件互连的分布式结构与联系，神经网络的学习和识别各神经元连接权系数的动态演化过程。实践中常用的基本神经网络模型有：感知器神经网络、线性神经网络、BP神经网络、径向基神经网络、自组织神经网络、反馈网络等。
1、感知器神经网络：
是一个具有单层计算神经元的神经网络，网络的传递函数是线性阈值单元。原始的感知器神经网络只有一个神经元。主要用来模拟人脑的感知特征，由于采取阈值单元作为传递函数，所以只能输出两个值，适合简单的模式分类问题。当感知器用于两类模式分类时，相当于在高维样本空间用一个超平面将两类样本分开，但是单层感知器只能处理线性问题，对于非线性或者线性不可分问题无能为力。假设p是输入向量，w是权值矩阵向量，b为阈值向量，由于其传递函数是阈值单元，也就是所谓的硬限幅函数，那么感知器的决策边界就是wp+b，当wp+b>=0时，判定类别1，否则判定为类别2。
——感知器网络的学习规则：假设p为输入向量，e为学习误差，t为目标向量，则学习的基本原理描述如下：
权值增量——^W=(t-a)p'=ep'；阈值增量——^b=(t-a)(1)=e；权值更新——W(n+1)=W(n)+^W；阈值更新——b(n+1)=b(n)+^b；
由学习规则可以发现，学习规则严重的受到输入向量p的大小变化影响。当输入向量的样本数据包含奇异点时，往往会导致感知器神经网络的学习训练时间加长，为了消除训练时间对于奇异样本的敏感性，工程上常采用归一化的感知器算法。即^W=(t-a)p'/||p||。
——感知器模型简单易于实现，缺点是仅能解决线性可分问题。解决线性不可分问题途径：一是采用多层感知器模型，二是选择功能更加强大的神经网络模型。
2、线性神经网络：
——线性神经网络是比较简单的一种神经网络，由一个或者多个线性神经元构成。采用线性函数作为传递函数，所以输出可以是任意值。线性神经网络可以采用基于最小二乘LMS的Widrow－Hoff学习规则调节网络的权值和阈值，和感知器一样，线性神经网络只能处理反应输入输出样本向量空间的线性映射关系，也只能处理线性可分问题。目前线性神经网络在函数拟合、信号滤波、预测、控制等方面有广泛的应用。线性神经网络和感知器网络不同，它的传递函数是线性函数，输入和输出之间是简单的纯比例关系，而且神经元的个数可以是多个。只有一个神经元的线性神经网络仅仅在传递函数上和感知器不同，前者是线性函数的传递函数，后者是阈值单元的传递函数，仅此而已。
——线性神经网络的学习规则：
W(k+1)=W(k)+yita(t(k)-p(k))p(k)'=W(k)+yita*e(k)*p(k)';
b(K+1)=b(k)+yita*e(k);yita是学习速率，yita比较大的时候，学习速率加快，但是有可能使得网络的学习进程变得不稳定，反之亦然。
——线性神经网络的局限性：线性神经网络只能反应输入和输出样本向量空间的线性映射关系。由于线性神经网络的误差曲面是一个多维抛物面，所以在学习速率足够小的情况下，对于基于最小二乘梯度下降原理进行训练的神经网络总是可以找到一个最优解。尽管如此，对线性神经网络的训练并不能一定总能达到零误差。线性神经网络的训练性能要受到网络规模、训练集大小的限制。若神经网络的自由度（所有权值和阈值的总个数）小于样本空间中输入－输出向量的个数，而且各样本向量线性无关，则网络不可能达到零误差，只能得到一个使得网络的误差最小的解。反之，如果网络的自由度大于样本集的个数，则会得到无穷多个可以使得网络误差为零的解。
3、BP神经网络：
——BP神经网络通常指的是基于误差反向传播算法的多层前向神经网络。是目前应用最为广泛的神经网络模型的学习算法。BP神经网络的神经元采用的传递函数一般是sigmoid型的可微函数，所以可以实现输入输出之间的任意非线性映射，这一特点使得BP神经网络在函数逼近、模式识别、数据压缩等领域有着更为广泛的应用，事实上，目前实际应用的90％的神经网络系统都是基于BP算法的。
——与其他神经元模型不同的是，BP神经元模型的传递函数采取了可微单调递增函数，如sigmoid的logsig、tansig函数和线性函数pureline。BP网络的最后一层神经元的特性决定了整个网络的输出特性。当最后一层神经元采用sigmoid类型的函数时，那么整个神经元的输出都会被限制在一个较小的范围内，如果最后一层的神经元采用pureline型函数，则整个网络的输出可以是任意值。BP网络采用的就是基于BP神经元的多层前向结构。BP网络一般具有一个或者多个隐层，隐层神经元一般采用sigmoid型的传递函数，而输出层一般采用pureline型的传递函数。理论已经证明，当隐层神经元数目足够多时，可以以任意精度逼近任何一个具有有限个断点的非线性函数。
——BP网络的学习规则：采用误差反向传播算法，实际上是Widrow－Hoff算法在多层前向神经网络中的推广。和Widrow－Hoff算法类似，BP算法中，网络的权值和阈值通常是沿着网络误差变化的负梯度方向进行调节，最终使得网络的误差达到极小值或者最小值，也就是说，在这一刻，误差梯度是0。由于梯度下降算法的固有缺陷，标准的BP算法收敛速度慢，容易陷入局部最小值，所以后来又有许多的改进算法：动量因子学习算法、变速率学习算法、弹性学习算法、共扼梯度学习算法等等。对于不同的具体问题，选择学习算法对网络进行训练时，不仅要考虑算法本身大额性能，还要考虑问题的复杂度、样本集的大小、网络规模、网络误差目标以及要解决问题的类型。如果待解决的问题属于模式分类，常用的弹性学习算法（收敛快，占用存贮空间小）、共扼梯度法（收敛快，性能稳定，占用存贮空间一般，尤其适合较大规模的网络）。
——BP网络的局限性：BP网络客服了感知器、线性神经网络的局限性，可以实现任意线性或者非线性的函数映射，然而在实际的设计过程中往往需要反复试凑隐层神经元的个数，分析隐层神经元的作用机理，不断进行训练才可能得到比较满意的结果，这一点现在是BP网络研究的一个难点。
4、径向基函数网络：
——径向基函数RBF网络是以函数逼近理论为基础构造的一类前向网络，这类网络的学习等价于在多维空间寻找训练数据的最佳拟合平面。径向基函数网络的每一个隐层都构成拟合平面的一个基函数，网络也因此得名。径向基函数网络是一个局部逼近网络，也就是说，对于输入空间的某一个局部区域只存在少数的神经元用于决定网络的输出。前面讲的的BP网络是典型的全局逼近网络，即对于每一个输入输出数据对，网络所有的参数都要调整。由于两者的构造本质不同，径向基函数网络与BP网络相比规模一般比较大，但是径向基网络的学习速度比较快，网络的函数逼近能力、模式识别能力以及分类能力都大大优于BP网络。径向基函数网络一般以广义回归网络、概率神经网络应用比较多。
——径向基函数网络的神经元模型：前面的3种神经元模型中输入向量的每一个分量分别和每一个神经元以对应的连接权乘积的累加作为传递函数的输入，而在径向基函数神经元模型中，多了一个||dist||，表示输入向量和权重向量的距离，模型采用高斯函数作为神经网络的传递函数，传递函数的输入是输入向量p和权重向量w的距离乘以阈值b，传递函数的一般表达式：f(x)=exp(-x*x).中心与宽度是径向基函数神经元的两个重要参数。神经元的权重向量w确定了径向基函数的中心，当输入向量p和w重合时，径向基神经元的输出达到最大值1，当输入向量和w的距离比较远时，神经元的输出就比较小。神经元的阈值b确定了径向基函数的宽度，b越大，输入向量在远距w时的函数衰减幅度就越大。
——径向基函数网络结构：典型的径向基函数网络包括两层，即隐层和输出层。需要设计的是隐层神经元的个数以及输出神经元的个数。假如输入是R维向量，有S1个隐层神经元，有S2个输出单元，则径向基层的网络权重向量矩阵为S1×R，p为R×1维向量，径向基层阈值b为S1×1维向量，输入向量和径向基层的权重向量的距离||dist||为S1×1，经过传递函数处理后为S1×1维的输出向量，由于有S2个输出单元，所以输出层的神经元个数是S2个，权重向量矩阵维S2×S1维，输出层的阈值是S2×1维向量，输出层一般采用线性函数作为传递函数，以便输出可以为任意值。
——广义回归网络GRNN结构：与径向基函数网络的结构类似，该网络的显著特点就是网络的隐层和输出层的神经元个数都和输入样本向量的个数相同，其输出层是特殊的线性层，即隐层的输出向量和输出权值向量进行规则化内积，也就是说，对于内积所得的向量中的每一个元素分别除以隐层输出向量中的各个元素的总和，从这一点来说，GRNN实际上就是一种规则化的径向基函数网络，常用于函数逼近问题。当隐层神经元足够多的时候，该网络能够以任意精度逼近一个平滑函数，缺点是当输入样本很多的时候，网络十分庞大，计算复杂，不适合用于训练样本过多的情况。
——概率神经网络结构：是径向基神经网络的另外一种重要变形。该网络的隐层神经元的个数与输入样本向量的个数相同，输出层神经元的个数等于训练样本数据的种类个数。该网络的输出层属于竞争层，输出层的每一个神经元对应一个数据类别，输出层的传递函数的功能就是找出输入向量中各个元素的最大值，并且使得与最大值对应的类别的神经元的输出为1，其他的输出为0。这种网络的分类效果能够达到最大的正确概率。概率神经网络经常用来解决分类问题。当样本数据足够多的时候，概率神经网络收敛于一个贝叶斯分类器，而且推广性能良好。缺点就是当输入样本庞大的时候，网络复杂，计算速度比较慢。
5、自组织网络：
——在生物神经细胞中存在一种特征敏感细胞，这种细胞只对外界信号刺激的某一特征敏感，并且这种特征是通过自学习形成的。在人脑的脑皮层中，对于外界信号刺激的感知和处理是分区进行的，有学者认为，脑皮层通过邻近神经细胞的相互竞争学习，自适应的发展称为对不同性质的信号敏感的区域。根据这一特征现象，芬兰学者Kohonen提出了自组织特征映射神经网络模型。他认为一个神经网络在接受外界输入模式时，会自适应的对输入信号的特征进行学习，进而自组织成不同的区域，并且在各个区域对输入模式具有不同的响应特征。在输出空间中，这些神经元将形成一张映射图，映射图中功能相同的神经元靠的比较近，功能不同的神经元分的比较开，自组织特征映射网络也是因此得名。
——自组织映射过程是通过竞争学习完成的。所谓竞争学习是指同一层神经元之间相互竞争，竞争胜利的神经元修改与其连接的连接权值的过程。竞争学习是一种无监督学习方法，在学习过程中，只需要向网络提供一些学习样本，而无需提供理想的目标输出，网络根据输入样本的特性进行自组织映射，从而对样本进行自动排序和分类。
——竞争学习网络的结构：假设网络输入为R维，输出为S个，典型的竞争学习网络由隐层和竞争层组成，与径向基函数网络的神经网络模型相比，不同的就是竞争传递函数的输入是输入向量p与神经元权值向量w之间的距离取负以后和阈值向量b的和，即ni=-||wi-p||+bi。网络的输出由竞争层各神经元的输出组成，除了在竞争中获胜的神经元以外，其余的神经元的输出都是0，竞争传递函数输入向量中最大元素对应的神经元是竞争的获胜者，其输出固定是1。

欢迎光临电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛 (http://bbs.eccn.com/)