二次规划问题的变时滞神经网络模型的全局指数稳定

东北大学二次规划问题的变时滞神经网络模型的全局指数稳定报告人：张锐指导教授：井元伟教授2009年5月20日主要内容引言1二次规划问题及变时滞神经网络模型建立2主要结果3仿真研究45结语引言二次规划问题广泛存在于现实生活当中，无论是工程应用、经济生活还是现代管理科学，优化计算都起着关键作用。在现代科学与工程计算中,经常需要进行实时优化计算。传统的优化计算技术因耗时过多而不能满足此类优化计算的需要。神经网络具有内在的大规模并行运算和快速收敛等特性，解决优化问题的运算时间比传统算法快出很多。引言神经优化计算的研究进展1982年，Hopfield提出了著名的Hopfield神经网络，引进了能量函数的概念，为神经网络应用于优化问题奠定了基础。1986年，由Tank和Hopfield首次提出了解决线性规划问题的神经网络。Kennedy和Chua为保证网络收敛提出一个改进的网络模型，其中的能量函数是不精确的罚函数。只有当罚参数趋于无穷大时，才可获得优化问题的近似解，且当罚参数过大时，电路亦难以实现。引言为避免罚函数存在的缺陷，文献[4]给出了由两个子系统组成的网络模型，但该模型的解轨迹在最优解附近摄动，不能保证网络的输出为精确度较好的解。基于对偶和映射理论，Xia等人先后提出了原始-对偶神经网络和投影神经网络，求解线性和二次规划问题，但网络结构复杂，在电路实现中仍需要大量参数。以上研究都是在神经元传输和瞬时响应无时延的情况下进行的。引言时滞神经网络稳定性研究意义：在神经网络电路实现中，时滞是不可避免的，时滞的存在可以导致系统的不稳定，这是目前研究时滞神经网络稳定性的一个主要原因。时滞的存在能够改变神经网络的拓扑结构，进而改变神经网络的动态行为，从而可以利用人为引入的时滞来达到改变网络动态行为的目的。所以，研究带有时滞的神经网络求解优化问题更具有实际价值引言文献[13-14]利用常时滞神经网络研究了二次规划最优解求解问题。考虑到时变时滞在电路实现中的普遍存在性，本文提出了一种变时滞Lagrange神经网络求解二次规划问题最优解的求解方法。利用不等式技术和LMI技术，得到了全局指数稳定的两个条件。所得到的稳定判据能够适应慢变时滞和快变时滞两种情况，具有适用范围宽、保守性小和易于验证等特点。通过几个注释说明和数值仿真示例验证了所得结果的有效性。二次规划问题及变时滞神经网络模型建立考虑如下二次规划问题：(1)其中：为设计变量，为半正定矩阵，，，。并且假设可行域为非空集合。定义Lagrange函数为：其中：为Lagrange乘子。1min2..TTuQucustAubunnQRncRmnARmbR{0}nnuRAub(,)Luv1(,)()2TTTLuvuQucuvAubmvR二次规划问题及变时滞神经网络模型建立根据KKT条件可知:是二次规划问题(1)的解，当且仅当存在，使得满足如下条件：其中:为的梯度。令：则解决问题(1)的Lagrange神经网络为：umvR(,)0(,)0TuvLuvQucAvLuvAubLL0TQAWAcJbuyv，，(2)0WyJ()dyWyJdt(3)二次规划问题及变时滞神经网络模型建立时变时滞Lagrange神经网络：其中：，时滞满足，。注1：在文献[13-14]中，研究的是定时滞的Lagrange神经网络求解问题(1)。但是，定时滞是变时滞的理想化，所以本文建立的变时滞网络(4)来求解问题(1)更具有实际意义。()()(())dyDWytDyttJdt(4)()()nmnmDR()t0()t()t二次规划问题及变时滞神经网络模型建立设是网络(4)的一个平衡点。为了方便，我们对网络(4)做变换，则式(4)等价变换成：其中：，。定义1：在区间上，对于任意有限的，如果存在标量，，使得成立，则称系统(5)在平衡点处是全局指数稳定的。*y*()()xtyty01()(())dxAxtAxttdt(5)0ADW1AD[,0]()ntR0b0c220()sup()ctxtbe0x二次规划问题及变时滞神经网络模型建立设是一个在上的非负连续函数，对于和，当时有如下引理：引理1：若不等式成立，则有成立。引理2：给定任意对称正定矩阵，标量，向量函数，则有如下不等式成立()yt0[,)t0p0q0tt0()()ttytpqysds0()()qttytpe0M0:[0,]nR000()()()()TTsdsMsdssMsds二次规划问题及变时滞神经网络模型建立引理3：假设,和为适当维数的实矩阵，且，则对于任意适当维数的向量和，有如下不等式成立:HLK0Kxy12TTTTTxHLyxHKHxyLKLy主要结果定理1：如果存在对称正定矩阵,,和，使得如下LMI成立：则系统(5)在平衡点处是全局指数稳定的。其中：P1QRZ11122200ZRZ(6)0x21100100TTPAAPQZAZAR212101TPAAZAZ2221112(1)TZQAZA主要结果证明：考虑如下Lyapunov泛函：其中：沿着网络(5)的轨迹对求导，并根据引理2，有下式成立123()()()()VxVxVxVx(7)11()()()()()()dtTTttVxxtPxtxQx2()()()dtTtVxxRx03()()()ddtTtVxxZx()Vx()()()()d()()()dttTTttttxZxtxZx[()(())][()(())]TxtxttZxtxtt(11)()()()()d(())()()dttttTTttxZxtxZx[(())()][(())()]TxttxtZxttxt(12)主要结果得到其中如式(6)中所定义，且下面讨论网络(5)的全局指数稳定性。由式(13)可以得到：其中210000()(()TTTxtPAAPQAZAZVx)()2(())()TRxtxttZxt21012()()(())TTPAAZAxtZxtt2111(())((1)TTxttQAZA2)(())()()()TZxttxtRZxt()()Ttt(13)()[()(())()]TTTTtxtxttxt()()()TVxxtxt(14)min()0主要结果对式(14)两边求积分，得到另外，从式(7)可知：其中因此利用引理1，可知00(())((0))(())d()()dttTVxtVxVxssxsxss(())()()TVxtbxtxtmin()0bP110()()((0))()()dtTTxtxtbVxabxsxss11()()((0))exp()TxtxtbVxabt(15)主要结果利用式(7)和引理3，可得令则由式(15)可得由定义1可知系统(5)在平衡点处是全局指数稳定的。证毕。22maxmax1max(())()()(()())sup()tstVxtPxtQRxs2233max00max11(())sup()(())sup()TTTtsttstAZIAxsAZIZAxs33maxmax1maxmax00max11()(()())(())(())TTTcPQRAZIAAZIZA20((0))sup()sVxcs2110()()sup()exp()Tsxtxtbcsabt0x主要结果注2：定理1是通过LMI方法得到的依赖时滞上界的指数稳定条件，且稳定条件通过MATLAB的LMI工具箱很容易得到验证。注3：在神经网络指数稳定性的研究中，许多文献都是在Lyapunov泛函中增加一个指数因子的方法来证明的，且指数收敛率是通过求解一个超越方程得到的。与之不同，我们没有引入指数因子，而是利用引理1来证明指数稳定性的。指数稳定证明过程被简化了，且指数收敛率也容易获得。注4：式(6)不限定，也就是说定理1可应用到快时变时滞，也可应用到慢时变时滞。1主要结果定理2：如果存在对称正定矩阵,,和，正定对称矩阵，以及适当维数矩阵，，，，使得如下LMI成立：P1QRZ111213222333UUUUUUU123[]TMMMM123[]TNNNN1T2T1112131222312334400TTTAT(16)主要结果则系统(5)的平衡点是全局指数稳定。其中：10TUMMZ(17)20TUNNZ(18)0x1110011111001TTTTPAAPQRMUMTAAT12211211102TTMMUNTAAT133113MNU221222222(1)TTQMMNNU2333223TTMNNU333333TRUNN24422TZTT,,，,主要结果证明：选取Lyapunov泛函与定理1中的相同。利用Leibniz-Newton公式，对于任意的适当维数矩阵，，有如下等式成立：对于任意的正定对称矩阵123[]TMMMM123[]TNNNN()2()[()(())()]0tTtttMxtxttxsds()2()[(())()()]0ttTttNxttxtxsds(20)(21)U0[()()()()]ttTTtttUtdstUtds()()[()()()()()()]tttTTTttttUttUtdstUtds(22)主要结果对于任意适当维数矩阵，满足如下等式：沿着网络(5)的轨迹对求导，得到：其中由式(16)-(18)，可知。余下证明部分与定理1相似。证毕。1T2T12012[()()][()()(())]0TTxtTxtTxtAxtAxtt(23)()12()()()[(,)(,)(,)(,)]()tttTtttVxttstsdststsdst(,)((),())TTtstxs()[()(())()()]TTTTtxtxttxtxt(())0Vxt()Vx仿真研究考虑形如式(1)的二次规划问题，其中：该优化问题具有唯一平衡点若采用Lagrange网络模型(3)来求解优化问题，因为具有三个特征值，神经系统(3)将呈现周期解，见图1，显然系统的平衡点不是稳定的。0.10.10.10.1Q(11)c(0.5-0.5)A0.5b*(0.50.5)u0.2,0.7071,-0.7071ii仿真研究050100150200250300350400450500-4-202050100150200250300350400450500-2024050100150200250300350400450500-10-505u1u2vt/sec图1：时的模型(5)的状态轨迹()0t仿真研究现考虑网络模型(5)，当指数收敛速率为，为单位矩阵时，在时通过LMI求解本文定理2可得到LMIs中的各个矩阵。状态轨迹如图2所示，由图形中的