还剩2页未读,继续阅读
文本内容:
扬绪用字彳彳技/号神经网络大作业题目神经网络模型的对比与分析学院学号学生姓名神经网络的网络拓扑结构大体有前向型、反馈型、自组织竞争型和随机型网络等拓扑结构出发点不同网络结构的分法也不同样前向型的人工神经网络有学习、分类等功能,反馈型的人工神经网络有联想记忆、优化计算等功能自组织竞争型的人工神经网络有聚类、搜索、自组织、自学习等功能截至目前,我们重要学习了四种网络模型即感知机、有监督的Hebb网络、ADLINEWidrow-Hoff模型和反向传播模型BP都从属于前向网络下面,我就各个网络模型的学习规则以及异同谈一些体会.感知机学习规则1943年WarrcnMcCulloch和WaiterPitts最早提出了一种人工神经元模型把神经元输入信号的加权和与其阈值相比较以拟定神经元的输出假如加权和小于阈值,则该神经元的输出值为0;假如加权和大于阈值,则该神经元的输出值为1但由于没有找到训练这一网络的方法,因此必须设计这些神经元网络的参数以实现特定的功能上世纪50年代,FrankRosenb1att等研究人员提出了一种感知机的神经网络,引入了用于训练神经网络解决模式辨认问题的学习规则,并证明了只规定解问题的权值存在,那么其学习规则通常会收敛到对的的权值上但是,感知机网络却存在一定的局限性,其只能解决模式辨认中的线性可分问题正是由于这种局限性,一度导致神经网络的研究工作陷入低潮我们知道,对于1—3维输入单层神经元的模式辨认问题,可以通过图解法解决其基本程序为
1、画出鉴定边界,该鉴定边界实现了区域划分的目的;
2、求解权值矩阵,权值矩阵求解的关键是鉴定边界总是和权值矩阵相正交,对于同一模式辨认问题鉴定边界的不同会导致权值矩阵的不同这一不同,在与当前模式精确匹配时不会产生错误的输出,而在其他模式的判别中也许引起较大的误差下面将举例说明
3、求解偏值,偏值b的求解,可以在求解权值矩阵的基础上,将鉴定边界上任意一点的坐标带入方程WT*P+b=0得到假如我们划定的鉴定边界通过坐标原点,那么此时的b值可以设定为Oo当3个以上输入神经元网络的鉴定边界无法用图形方法进行鉴定期我们就必须引入一个学习的规则假如将单神经元感知机和多神经元感知机统一起来,那么这个学习规则可写为WNEW=WOLD+epT;BNEW=BOLD+e其中e=t-ao在学习过程的开始,权值和偏值我们可以任意设定,在输入第一个模式后,将盼望输出与感知机的实际输出相减,得到输出误差eo通过e的正负调节权值矩阵和偏值,从而最终实现模式之间的对的分类.有监督的Hebb学习规则Hebb学习规则是最早的神经网络学习规则之一,由DonaIdHebb在1949年作为大脑的一种神经元突触调整的也许机制而提出,从此Hcbb规则就一直用于人工神经网络的训练与感知机所不同的是Hebb学习规则的权值更新公式变为WNEW=WOLD+tqpqT矩阵形式为W=TPT在输入样本为标准正交向量时,该样本只与权值矩阵内相应相等的模式发生作用,而与其他模式的不发生作用,此时网络的输出等于其相应的目的输出当输入不是标准正交向量时,网络的输出也许偏离目的输出,与目的输出不能十分匹配解决这一问题的方法,就是运用仿逆规则,即把样本矩阵进行变换仿逆规则为W=TP+P+=PTP-1PTO通过仿逆规则,假如由于输入样本的非标准正交化引起的输出误差,可以通过仿逆规则达成精确的结果.ADLINEWidrow-Hoff学习规则I960年,Widrow和他的研究生MarcianHoof引入了ADALINE网络和一个称为LMS算法的学习规则ADALINE网络和感知机同样,只能解决线性可分问题但是,虽然其网络与感知机十分相似但与感知机不同之处在于,其一,ADALINE网络神经元中有一个线性激活函数,这允许输出可以是任意值,而不仅仅只是像感知机那样只能取0或1;其二,他采用的是W-H学习规则,也即最小均方差规则对权值进行训练,LMS算法比感知机学习规则要强大很多,感知机规则能保证将训练模式收敛到一个可以对的分类的解上,有时训练模式常接近网络的鉴定边界,得到的网络对噪声较为敏感而LMS算法使均方误差最小,从而使网络的鉴定边界尽量远离训练模式.多层前向网络BP规则:1974年,PaulWerboss第一次描述了训练多层神经网络的一个算法,但并没有引起人们的关注直到20世纪80年代中期1986年,RumeIhartGeoffreyHinton和RonaIdWilliams合著的《Learningrepresentationsbyback-propagatingerrors》第一次系统简洁地阐述反向传播算法在神经网络模型上的应用反向传播算法,把纠错的运算量下降到只和神经元数目自身成正比反向传播算法,通过在神经网络里增长一个所谓隐层,同时也解决了感知机无法解决异或门的难题反向传播算法才重新被发现并广泛宣扬它事实上是一个多层网络的LMS算法是最速下降法的近似LMS算法和反向传播算法的区别在于它们对导数的计算方法上对于单层的线性网络,误差是网络权值的显示函数,其相对于权值的导数较容易求得在具有非线性传输函数的多层网络中网络权值和误差的关系更为复杂为了计算导数,需要用到微积分中的隐函数导数求解法。