多元多项式函数的三层前向神经网络逼近方法

《计算机学报》2009年5期1多元多项式函数的三层前向神经网络逼近方法1王建军)2),1徐宗本)2)1(西南大学数学与统计学院重庆400715))2(西安交通大学信息与系统科学研究所西安710049)摘要本文首先用构造性方法证明：对任意r阶多元多项式，存在确定权值和确定隐元个数的三层前向神经网络，它能以任意精度逼近该多项式，其中权值由所给多元多项式的系数和激活函数确定，而隐元个数由r与输入变量维数确定。我们给出算法和算例，说明基于本文所构造的神经网络可非常高效地逼近多元多项式函数。具体化到一元多项式的情形，本文结果比文献[11]所提出的网络和算法更为简单、高效；所获结果对前向神经网络逼近多元多项式函数类的网络构造以及逼近等具有重要的理论与应用意义，为神经网络逼近任意函数的网络构造的理论与方法提供了一条途径。关键词前向神经网络,多元多项式,逼近,算法中图分类号TP18ApproximationMethodofMultivariatePolynomialsbyFeedforwardNeuralNetworksWANGJian-Jun)2),1XUZong-Ben)2)1(SchoolofMathematics&Statistics,SouthwestUniversity,Chongqing400715))2(InstituteforInformationandSystemScience,Xi'anJiaotongUniversity,Xi'an710049)AbstractFirstly,thispaperinvestigatesthatforagivenmultivariatepolynomialswithrorder,athree-layerfeedforwardneuralnetworkswithdeterminateweightsandthenumberofhidden-layernodescanbeestablishedbyaconstructivemethodtoapproximatethepolynomialstoanydegreeofaccuracy.Secondly,theweightsaredecidedbyboththecoefficientsofthepolynomialsandtheactivationfunction,andthenumberofhidden-layernodesoftheconstructednetworkdependsontheorderofapproximatingpolynomialandthedimensionofinputonthenetwork..Thenwegivethealgorithmandalgorithmicexamples,wheretheconstructednetworkscanveryefficientlyapproxi-matemultivariatepolynomials.Specifically,foraunivariatepolynomial,theconstructednetworkandrealizationofalgorithmobtainedaresimplerandmoreefficientthanthoseofthereference[11].Theobtainedresultsareoftheoreticalandpracticalimportanceinconstructingafeedforwardneuralnetworkwiththree-layertoapproximatetheclassofmultivariatepolynomials.Theyalsoprovidearouteinboththeoryandmethodofconstructingneuralnetworktoapproximateanymultivariatefunctions.KeywordsFeedforwardneuralnetwork;Multivariatepolynomials;Approximation;Algorithm1本课题得到国家“973”重点基础研究发展计划项目基金(2007CB311000),国家自然科学基金重点项目(70531030),国家自然科学基金(10726040,10701062,10826081),教育部科学技术重点项目(108176),中国博士后科学基金(20080431237),西南大学博士基金(SWUB2007006)和西南大学发展基金(SWUF2007014)资助.王建军，男，1976年生，博士，副教授，主要研究方向为神经网络，学习理论和逼近论。E-mail:[e-mail].徐宗本，男，1955年生，博士，教授，博士生导师，主要研究领域为人工智能，非线性泛函分析等。《计算机学报》2009年5期2一．引言近年来，许多学者对神经网络逼近问题进行了研究，取得了一系列重要成果。神经网络已经在工程、计算机、物理、生物等学科中得到了广泛的应用，大多数应用都被转化为利用神经网络逼近多元函数的问题([1]-[5]等)。神经网络之所以能得到广泛应用，其主要原因之一是它具有一定意义上的万有逼近性([6]，[7]等)。所有这些研究的一个典型结论是：任何一个定义在Rd上的连续函数可以通过一个具有单一隐层的三层前向神经网络任意逼近。一个具有单一隐层，含d个输入，1个输出的三层前向神经网络数学上可表示为：,1,,)(11dxxwcxdijijdjimiRN(1)其中,1miRi是阈值,,(1iiwwdTidiwwR),...,2是输入层与隐层第i个神经元的连接权值，ci是隐层与输出层之间的连接权值,是隐层节点的激活函数(传递函数)。通常情况下，网络激活函数取为sigmoid型函数，即满足1)(t(t),0)(t(t)的函数。用向量形式表示，(1)可进一步表达为.,)(1diiiniRxcxxwN众所周知，人工神经网络的结构设计(使之有能力学习给定的函数)是其应用中的重要而基本的问题。最近，有较多的工作(如文献[8]-[10])研究前向神经网络的逼近精度与隐元个数的关系，以从理论上反映网络逼近速度与网络拓扑之间的关系。但是，这些理论结果并没有给出实现函数逼近的具体算法，所构造的网络也过于复杂，不易实现，所以很难在实际中得到应用。一元多项式是最简单和最基本的被逼近函数形式。在文献[11]中,作者对一元多项式构造了一种前向神经网络，给出了逼近的理论结果和算法实现；对于多元情况，由于多元区域中点的方向的无穷性、多项式的展开分解以及差分的介入等问题的复杂性，它并不能表示为一元多项式的简单叠加，在逼近意义下，也不是一元多项式的简单推广，因而对于多元多项式，神经网络实现起来并不容易。然而，我们知道，多元多项式能够任意逼近任何一个连续多元函数，因而如何高效实现多元多项式的神经网络逼近对于发展对一般函数的神经网络逼近(特别是网络设计理论)有重要意义。有鉴于此，本文研究目标函数为多元多项式的三层前向神经网络的逼近问题。我们将给出一个具有确定隐元个数和确定权值向量的三层前向神经网络来实现对多元多项式的任意逼近。所给出的确定网络，其隐层节点数由所逼近多项式的阶数r和输入空间的维数d确定，而权值由所逼近多项式的系数和激活函数确定。我们将给出一个具体的算法实现网络设计。算例表明：所提出的算法十分高效，在一元情况，同文献[11]的结果相比，本文算法所构造网络的逼近精度比[11]提高了10倍.本文所获结果对前向神经网络逼近多元多项式函数类的网络具体构造以及实现逼近的方法等问题具有重要的指导意义。二．记号及主要结果在本文中我们将采用如下记号0Z，R分别表示非负整数、实数，Rd表示d维实Euclid空间；Z0d表示个000dZZZ.对任何),,,,(21dxxxxddRyy),,(1y,),(1djjj，ddZqqq021),,,(q.向量x与y的内积表示为:,1kkdkyxyx同时记.1ijidixjx用qj表示),,2,1(diqjii,||||qj表示idiidiqj11.对任意定义在dR上的光滑函数,f其j-阶偏导数表示如下).(...)(:)(2121)(xxxxrrrrdrdrrxxxfff其中drrr21||r.我们用)(dPr表示定义在有界区域S上的所有d元实的、次数不超过||r的代数多项《计算机学报》2009年5期3式。我们利用这些记号给出如下的逼近定理。定理.设是定义在R上的具有r1-阶连续有界导数的函数，且对任意的0Zk,1||0rk,存在某一R,使得0)()(k.)()(dPprrx,则可以构造一个输入,一个输出及隐元个数为)1(1||||0idijnrj的三层前向神经网络:),()(,||||xwxjiji0rj0cNndRRcwji,,使得.0,)()(xxrnPN证明.设,)(||||0jjrjrxxap(2)记}),,,(,|{|21maxSxxxxMdiix,.,,2,1di由于]9[)()(xj)]([...2211xjdjdjj)(|)(|xxjj(3)于是),(|)()(|)(|)(,jj0jxjxx(4)因而.)()(|)(|,jxjjx(5)将(5)式代入(2)，我们得到,)()()(|)(|,||||0jxjjrjrxap(6）对任意固定的Rb,我们考虑以下有限j-阶差分))2(()1()(||,xjiijiji0jxThh(7)其中kkijdk1ij.由三角不等式以及差分的积分表示,我们得到)()2()(,||)(1||||0|)(|jxjjrjrjxhhap)()2(,||)(1||||0)()(||||0|)(||)(|,jxjjrjjrjjjxjhhaa||)()2()(||,||,)|(|1||||0|)(|jxjxjjrjjhha)(|||)(|)|(|1||||0||)(|jjjrjxja121|)(|||)(()2(1xhjhhhhhhjjjx|))(||1||dxdjdjjdhahhhhhh)()2(|||)(|||)|(|1||||0||)(|jjjjrjxj121|)(|||)(()2(1xhjhhhhhhjj|))(||1||dxdjdjj))2(||,(||1|(|)|(|1||||0|)(|hMajxjjjrjj||||2)|(|1||||01|)(|)1|(|jjjjrjijidiMahM(8)其中||)()(sup),(||txxt(见[12])是函数的连续模,且当有连续导数时,|).)(|sup(),(xx令,1||,,1,0|,)(|max)(0riMi于是||)()2()(,||)(1||||0|)(|jxjjrjrjxhhapijidiaMhMM1)|(|||||||||001|)(|2jjjrjMh(9)《计算机学报》2009年5期4其中常数ijidiMaMMM1|)(|||||001|)(||||