还剩7页未读,继续阅读
文本内容:
《计算机学报》2009年5期多元多项式函数的三层前向神经网络逼近方法
[1]王建军徐宗本西南大学数学与统计学院重庆400715西安交通大学信息与系统科学研究所西安710049摘要本文首先用构造性方法证明对任意阶多元多项式,存在确定权值和确定隐元个数的三层前向神经网络,它能以任意精度逼近该多项式,其中权值由所给多元多项式的系数和激活函数确定,而隐元个数由与输入变量维数确定我们给出算法和算例,说明基于本文所构造的神经网络可非常高效地逼近多元多项式函数具体化到一元多项式的情形,本文结果比文献
[11]所提出的网络和算法更为简单、高效;所获结果对前向神经网络逼近多元多项式函数类的网络构造以及逼近等具有重要的理论与应用意义,为神经网络逼近任意函数的网络构造的理论与方法提供了一条途径关键词前向神经网络多元多项式逼近算法中图分类号TP18ApproximationMethodofMultivariatePolynomialsbyFeedforwardNeuralNetworksWANGJian-JunXUZong-BenSchoolofMathematicsStatisticsSouthwestUniversityChongqing400715InstituteforInformationandSystemScienceXianJiaotongUniversityXian710049AbstractFirstlythispaperinvestigatesthatforagivenmultivariatepolynomialswithorderathree-layerfeedforwardneuralnetworkswithdeterminateweightsandthenumberofhidden-layernodescanbeestablishedbyaconstructivemethodtoapproximatethepolynomialstoanydegreeofaccuracy.Secondlytheweightsaredecidedbyboththecoefficientsofthepolynomialsandtheactivationfunctionandthenumberofhidden-layernodesoftheconstructednetworkdependsontheorderofapproximatingpolynomialandthedimensionofinputonthenetwork..Thenwegivethealgorithmandalgorithmicexampleswheretheconstructednetworkscanveryefficientlyapproxi-matemultivariatepolynomials.Specificallyforaunivariatepolynomialtheconstructednetworkandrealizationofalgorithmobtainedaresimplerandmoreefficientthanthoseofthereference
[11].Theobtainedresultsareoftheoreticalandpracticalimportanceinconstructingafeedforwardneuralnetworkwiththree-layertoapproximatetheclassofmultivariatepolynomials.Theyalsoprovidearouteinboththeoryandmethodofconstructingneuralnetworktoapproximateanymultivariatefunctions.KeywordsFeedforwardneuralnetwork;Multivariatepolynomials;Approximation;Algorithm1.引言近年来,许多学者对神经网络逼近问题进行了研究,取得了一系列重要成果神经网络已经在工程、计算机、物理、生物等学科中得到了广泛的应用,大多数应用都被转化为利用神经网络逼近多元函数的问题
[1]-
[5]等神经网络之所以能得到广泛应用,其主要原因之一是它具有一定意义上的万有逼近性
[6],
[7]等所有这些研究的一个典型结论是任何一个定义在上的连续函数可以通过一个具有单一隐层的三层前向神经网络任意逼近一个具有单一隐层,含个输入,个输出的三层前向神经网络数学上可表示为1其中是阈值是输入层与隐层第个神经元的连接权值,是隐层与输出层之间的连接权值是隐层节点的激活函数传递函数通常情况下,网络激活函数取为型函数,即满足的函数用向量形式表示,1可进一步表达为众所周知,人工神经网络的结构设计使之有能力学习给定的函数是其应用中的重要而基本的问题最近,有较多的工作如文献
[8]-
[10]研究前向神经网络的逼近精度与隐元个数的关系,以从理论上反映网络逼近速度与网络拓扑之间的关系但是,这些理论结果并没有给出实现函数逼近的具体算法,所构造的网络也过于复杂,不易实现,所以很难在实际中得到应用一元多项式是最简单和最基本的被逼近函数形式在文献
[11]中作者对一元多项式构造了一种前向神经网络,给出了逼近的理论结果和算法实现;对于多元情况,由于多元区域中点的方向的无穷性、多项式的展开分解以及差分的介入等问题的复杂性,它并不能表示为一元多项式的简单叠加,在逼近意义下,也不是一元多项式的简单推广,因而对于多元多项式,神经网络实现起来并不容易然而,我们知道,多元多项式能够任意逼近任何一个连续多元函数,因而如何高效实现多元多项式的神经网络逼近对于发展对一般函数的神经网络逼近特别是网络设计理论有重要意义有鉴于此,本文研究目标函数为多元多项式的三层前向神经网络的逼近问题我们将给出一个具有确定隐元个数和确定权值向量的三层前向神经网络来实现对多元多项式的任意逼近所给出的确定网络,其隐层节点数由所逼近多项式的阶数和输入空间的维数确定,而权值由所逼近多项式的系数和激活函数确定我们将给出一个具体的算法实现网络设计算例表明所提出的算法十分高效,在一元情况,同文献
[11]的结果相比,本文算法所构造网络的逼近精度比
[11]提高了10倍.本文所获结果对前向神经网络逼近多元多项式函数类的网络具体构造以及实现逼近的方法等问题具有重要的指导意义二.记号及主要结果在本文中我们将采用如下记号,分别表示非负整数、实数,表示维实空间;表示.对任何,.向量与的内积表示为:同时记用表示表示.对任意定义在上的光滑函数其-阶偏导数表示如下其中.我们用表示定义在有界区域上的所有元实的、次数不超过的代数多项式我们利用这些记号给出如下的逼近定理定理.设是定义在上的具有-阶连续有界导数的函数,且对任意的存在某一使得.则可以构造一个输入一个输出及隐元个数为的三层前向神经网络:使得证明.设2记由于3于是4因而5将5式代入2,我们得到6)对任意固定的我们考虑以下有限j-阶差分7其中.由三角不等式以及差分的积分表示我们得到8其中见
[12]是函数的连续模且当有连续导数时令于是9其中常数由89我们可以构造出如下神经网络10其中1112且由9知满足令得到至于隐层单元个数,我们由10式很容易看出,网络具有个单元注1从上述证明中我们看到,对于给定的多元多项式其神经网络的权值可具体由11和12确定从11和12我们看到,它由所逼近多项式的系数和所选定的网络激活函数在点的各阶导数值唯一确定三.算法和算例算法总结上节讨论,我们能给出如下构造逼近多元多项式神经网络的算法给定参数多元多项式的系数,阶数;误差要求输入最大值,;满足要求的激活函数的具体表达式;搜索步长.第一步求出隐元个数;第二步选择阈值并计算;第三步求出;第四步计算;第五步选取满足并令;第六步利用方程12计算权即;第七步结束算例首先,我们采用文献
[11]中的例子作为我们第一个算例,且和文献
[11]的结果进行比较例
1.选取激活函数令被逼近的多项式函数为输入的最大值为误差要求则节点数是选取阈值使得通过计算,得到所以于是,我们可以选择注意到的表达式我们计算得到从而,对于多项式函数我们可以构造前向神经网络计算结果见表1,误差曲线见图1,文献
[11]中关于此例的误差曲线见图
2.注
2.从这个例子可以看出,我们所构造的网络不但简单、容易计算网络权值,而且逼近精度非常理想从网络构造上来说,本文所构造的网络比文献
[11]的网络更容易实现,其计算复杂度明显下降,这只需注意到,
[11]中需要通过计算以下矩阵的逆表1其中是例1所构造的网络是文献
[11]所构造的网络图
1.例1误差曲线图图
2.文献
[11]的误差曲线图来实现网络构造,而显然,当多项式的阶数很高时,上式计算复杂度甚高;而本文的算法不涉及这样的矩阵求逆运算从计算结果来看,本文的结果明显好于文献
[11]的结果,其误差精度提高了10倍例2.选取激活函数令被逼近函数为二元三次多项式输入的最大值为误差要求则节点数并且,以从而.我们取则利用10,我们可以得到
(13)使得表2以搜索步长图3误差曲线图()对例2进一步加以说明图
3.例2的误差曲面图()注
3.从例2可以看出,我们构造的网络实际用到的隐元个数是10由13式右端共有10项是非零的故此时隐元个数为10而不是象定理所预测的这是由于我们的定理是对于一般的多元多项式来给出隐元个数,而本例仅是一般多项式的一个特例同时我们知道,对多元多项式,由于其方向的多样性,并不是简单的一元多项式的叠加,比一维情况复杂的多;从这个算例我们可以看到,我们所构造的神经网络简单,非常容易计算,实现了对多元多项式的逼近,误差结果十分理想,它为我们实现对任意多元函数的逼近提供了一个很好的范例例3.选取激活函数多项式表2其中是例2所构造的网络用我们的方法得到的网络逼近的仿真曲面图和误差曲面分别见图4,
5.图
4.神经网络对的仿真曲面图四.结论本文所构造的三层前向人工神经网络的方法和逼近的具体算法实用简单,容易计算通过算例看出实现这一逼近比较容易,而且十分高效,计算复杂度较低所获结果表明对给定阶数的多元多项式存在确定权值和确定隐元个数的三层前向神经网络,它能以任意精度逼近该多项式,其中权值由所给多元多项式的系数和激活函数确定,而隐元个数由与输入变量维数确定,而且这一逼近完全可以通过一个具体的算法实现,这为我们对任意函数被神经网络逼近提供了一个很好的理论和实践方法,具有重要的指导意义五.致谢作者衷心感谢审稿人提出的宝贵意见和建议参考文献
[1]MckennaTDavisJZometzerSF.Singleneuroncomputation.NewYork:AcademicPress1992
[2]SkrzypekJKarplusW.Neuralnetworksinvisionandpatternrecognition.NewJersey:WorldScientific1992
[3]TayloJG.Mathematicalapproachesestoneuralnetworks.NewYork:North-Holland1993图
5.例3的误差曲面图()
[4]ChenTian-PingChenHong.Universalapproximationtononlinearoperatorsbyneuralnetworkswitharbitraryac-tivationfunctionsanditsapplicationtoadynamicsystem.IEEETransactiononNeuralNetworks199564:911-917
[5]ChenTian-Ping.Approximationprob-lemsinsystemidentificationwithneuralnetworks.ScienceinChinaSer.Ahttp://lsg.cnki.net/GRID20/Navi/Bridge.aspxLinkType=BaseLinkDBCode=cjfdTableName=cjfdbaseinfoField=BaseIDValue=JAXGNaviLink=Science+in+China%2cSer.A\t_blankSer.A1994241:1-7inChinese陈天平神经网络及其在系统识别应用中的逼近问题中国科学A辑1994241:1-7
[6]CybenkoG.Approximationbysuperpos-itionsofsigmoidalfunction.Mathema-ticsofControlSignalsandSystems198924:303-314
[7]HornikKStinchombeMWhiteH.Multilayerfeedforwardnetworksareuniversalapproximators.NeuralNetworks198922:359-366
[8]KurkovaVKainenPCKreinovichV.Estimatesofthenumberofhiddenunitsandvariationwithrespecttohalf-space.NeuralNetworks1997106:1068-1078
[9]MaiorovVMeirRS.Approximationboundsforsmoothfunctionsinbyneuralandmixturenetworks.IEEETransactiononNeuralNetworks199895:969-978
[10]CaoFei-LongXuZong-Ben.Neuralnetworkapproximationformultivaria-teperiodicfunctions:estimatesonapproximationorder.ChineseJournalofComputers2001249:903-908inChinese曹飞龙徐宗本多变元周期函数的神经网络逼近:逼近阶估计.计算机学报2001249:903-908
[11]CaoFei-LongXuZong-Ben.Approxim-ationofpolynomialfunctionsbyWANGJian-Junbornin1976Ph.D.associateprofessor.Hisresearchinterestsincludeneuralnetworkslearningtheoryandapproximationtheoryoffunctions.BackgroundArtificialneuralnetworkshavebeenextensivelyappliedinvariousfieldsofscienceandengineering.Variousproblemsconcerningapplicationofneuralnetworksinscienceandengineeringcanbeconvertedintoproblemsofapproximatingfunctionsbysuperpositionoftheneuralactivationfunctionsofthenetworks.TheapproximationofmultivariatefunctionsbytheFNNshasbeenwidelystudiedinpastyearswithvarioussignificantresultsconcerningdensityorcomplexity.Howeverfromtherespectiveofapplicationthealgorithmresearchonapproximationoftheneuralnetworksismorehopefulespeciallythedeterminationoftopologyofneuralnetworksandtheparameterofalgorithm.Polynomialisaclassoffundamentalfunctions.Therearemanymethodstorealizeitsapproximation.Westudyanalgorithmbasedonthetheoryofneuralnetworksandgivetheoryandexp-erimentsofthealgorithm.Ourresultsrevealtherelationshipbetweentopologyneuralnetworks:constructionofnetworkandalgorithmofapproximationChineseJournalofComputers2003268:906-912inChinese曹飞龙徐宗本梁吉业多项式函数的神经网络逼近:网络的构造与逼近算法.计算机学报2003268:906-912
[12]TimanAF.TheoryofApproximationofFunctionsofaRealVariable.NewYork:Macmillan1963XUZong-Benbornin1955Ph.D.ProfessorandPh.D.supervisor.Hisresearchinterestsareinartificialintelligentandnonlinearfunctionalanalysis.Ofnetworksandapproximationaccuracyinapproximationofpolynomial.ThisresearchissupportedbytheNationalKeyBasicResearchDevelopmentPlanofChinaNO.2007CB311000andtheNationalNaturalScienceFoundationofChinaNo.10726040705310301070106210826081theKeyProjectofChineseMinistryofEducationNo.108176ChinaPostdoctoralScienceFoundationNo.
20080431237.ThegroupalreadyachievedsomeresearchworksintheareaoftheoryandapplicationofneuralworkswhichwaspublishedinareapremiumjournalssuchasScienceinChinaSeriesE:InformationScienceNeuralNetworksChineseJournalofComputersandsoon.Asanessentialpartoftheprojectboththetheoryandexperimentalresultswilldeepenourresearchandcontributetoourprojects.Currentlytheauthorsandtheirresearchgroupareconductingintensiveresearchinthisfieldtogetmoreandbetterresults.PAGE1^1本课题得到国家“973”重点基础研究发展计划项目基金2007CB311000国家自然科学基金重点项目70531030国家自然科学基金107260401070106210826081教育部科学技术重点项目108176中国博士后科学基金20080431237西南大学博士基金SWUB2007006和西南大学发展基金SWUF2007014资助.王建军,男,1976年生,博士,副教授,主要研究方向为神经网络,学习理论和逼近论E-mail:wjj@swu.edu.cn.徐宗本,男,1955年生,博士,教授,博士生导师,主要研究领域为人工智能,非线性泛函分析等。