一种基于NARX神经网络的多步预测模型

收稿日期：－年－月－日；修回日期：－年－月－日.基金项目：项目名称（编号）;项目名称（编号）.作者简介：性别，职称，学位，从事□□□□、□□□□的研究；导师或第2作者….文章编号：基于NARX神经网络的一种非线性多步预测模型摘要：神经网络是一种非常优秀的非线性建模工具，在工程实际中得到了广泛的应用。根据网络结构中是否存在反馈回路，神经网络可分为动态神经网络和静态神经网络。本文针对工业过程中具有强非线性特点的被控对象，提出了一种基于动态神经网络的非线性多步预测模型；设计了非线性预测模型的结构辨识方法，并对模型的预测性能进行了仿真验证。仿真结果表明，该预测模型能够较好地预测非线性系统的未来输出信息，为非线性多步预测控制器的设计和应用打下了良好的基础。关键词：模型预测控制；预测模型；递归神经网络；NARX神经网络；模型辨识中图分类号：TP301文献标识码：AAMulti-StepNonlinearPredictiveModelBasedonNARXNeuralNetworkAbstract：NeuralNetworkisakindofexecllentnonlinearmodelingtools.Accordingtothestructure,neuralnetworkcanbedividedintotwocategorieswhicharedynamicneuralnetworkandstaticneuralnetwork.Thispaperproposedanonlinearmulti-steppredictivemodelbasedondynamicneuralnetworkforthesystemswhichhavestrongnonlinearity,designedaspecialmodelidentificationmethod,andprovidedsimulationexperiment.Thesimulationresultsshowthatthenonlinearpredictivemodelcangiverelativelygoodpredictiveoutputinformationofthenonlinearsystem,andcanbeusedinmulti-steppredictivecontroller.□□□□□Keywords：ModelPredictiveControl;PredictiveModel;RecurrentNeuralNetwork;NARXNeuralNetwork;ModelIdentification1引言模型预测控制(ModelPredictiveControl,MPC)是一种基于模型的控制策略，这种控制策略首先利用过去时刻的输入输出信息建立预测模型，然后利用预测模型对系统未来的输出做出预测，通过长时域的优化获得局部最优的控制量，从而实现对被控对象的有效控制。模型预测控制一般由预测模型、滚动优化策略和反馈校正三部分构成[1]。在这三部分中，预测模型是滚动优化策略的基础，反馈校正为预测模型提供修正。在工程应用中，建立的预测模型是否合适，将直接影响预测控制器的实际控制效果。目前，实际中应用的大部分预测控制器(动态矩阵控制、模型算法控制、广义预测控制)的都是基于系统的线性预测模型[2]。对于含有强非线性、扰动频繁的系统或者带有时变特性且工作点跨越较大的系统，线性预测模型就无法正确描述被控对像的动态特性，甚至会导致系统不稳定[3]。如果要将预测控制方法应用于这些场合并进行长时域的预测控制，如何建立系统合适的非线性多步预测模型就显得非常必要。人工神经网络由众多简单神经元组成，能够任意精度逼近绝大多数非线性映射关系，是一种非常优秀的非线性建模工具[4]。根据网络结构中是否存在反馈回路，人工神经网络可分为动态神经网络和静态神经网络。感知机网络、BP网络属于静态神经网络，其中，BP网络是结构最简单、应用最成熟的一种网络结构；Hopfield网络、Elman网络和NARX网络属于动态神经网络，其中，NARX网络是动态神经网络中研究最广泛的网络结构之一[5][6]。2预测模型为了建立非线性系统的长时域预测模型，在过去的研究工作中，研究人员通过递归调用两层BP神经网络，构造了一个预测效果相对较好的非线性多步预测模型[7][8]，这种预测模型的结构图如图(1)所示。两层BP神经网络()ku()ky两层BP神经网络(2)myk(1)ku(1)ky两层BP神经网络()mpykn(1)pknu(1)pkny(1)myk………()uk(1)uk(1)pukn图1基于递归BP神经网络的多步预测模型结构图但是，这种预测模型存在一个明显的缺陷，即预测时域不能太长。如果预测时域过长，初始阶段的预测误差将会不断累积，使得预测性能和预测精度快速下降，直接影响预测控制算法的控制效果。如果要在实际应用中进行长时域预测控制，就必须研究和设计新的非线性多步预测模型，以克服预测误差累积的影响。NARX神经网络是一种结构清晰的动态神经网络。它将BP神经网络的输出向量延时保持之后，通过外部反馈，引入到输入向量之中。因此，本文将使用NARX神经网络代替两层BP神经网络进行长时域预测，给出一种基于NARX神经网络的非线性多步预测模型。由图(1)可知，假设当前时刻为k，基于两层BP神经网络的非线性多步预测模型在ks时刻的输入输出关系如下所示：21211111,()(1)Smiiiykswfnksb(1)min(,)111,,11min(1,)111,,1(1)()()()()snniijijjjssnnijnmijnijjsuuyyuunkswuksjwuksjwyksjwyksjb(2)观察式(1)和式(2)的数学形式可知，如果使用图(2)所示的静态部分为两层BP网络的NARX神经网络进行递归计算，可以得到同样的预测效果。3模型辨识接下来将给出基于NARX神经网络的非线性多步预测模型的辨识方法，使辨识得到的NARX神经网络能够较好地克服预测误差累积现象，满足较长时域输出预测的目的。首先，仅考虑式(1)和式(2)所蕴含的时序关系，这两个等式可化简如下：21211111,(1)()Siimiykwfnkb(6)1111,,11()(1)(1)nniijijnijjyuunkwukjwykjb(7)其次，设计预测模型的单个训练样本的输入向量和目标向量如下所示：(),(1),,(1),(1),,(1),()Tuyukukuknyknykyku(8)(1)Tykt(9)然后，假设训练样本集中样本的个数为tn，选择性能指标函数如下所示：221111()()()nnnnmmnmnppttJyknyknEkn(10)计算性能指标函数J对NARX神经网络的结构参数向量θ的一阶偏导数如下：11()()()nnmmnptJEknyknyknθθ(11)式(11)中的结构参数向量θ中包括如下五类参数：11,1,1ijuwiSjn(12)11,1,1ijnyuwiSjn(13)111ibiS(14)211,1iwiS(15)21b(16)下面分别计算误差函数()Ekn对这五种结构参数的一阶偏导数：112111,11,(1)()()(1)SiiijiifnknEknwuknjwnkn(17)112111,11,(1)()()(1)SiiinjiuifnknEknwyknjwnkn(18)11121,1111()1SiiiiifnknEknwbnkn(19)1121,()(1)iiEknfnknw(20)21()1Eknb(21)这样，由式(11)和式(17)～式(21)即可计算出性能指标函数J对结构参数向量θ的一阶偏导数向量。最后利用式(22)所示的最速下降法，通过逐步迭代，求出NARX神经网络的最优结构参数。1iiiJθθθ(22)其中，是最速下降法的学习速率。在此，只给出了使用最速下降法训练NARX神经网络的原理和简略过程。在实际使用时，还需要考虑许多细节内容，包括训练样本的采集和预处理、神经网络权值和偏置值的初始化、权值和偏置值的学习速率选择等等。1f11,1w1f1f1f…2f11n12n13n11Sn11a12a13a11Sa21n21a11b12b13b11Sb21b…DDDD…11,SRw21,1w21,2w21,3w21,1Sw()uk(1)uk(1)uukn()yk(1)yk(1)yyknD图2NARX神经网络结构图在图(2)中，un表示非线性系统的输入阶数；yn表示非线性系统的输出阶数；un和yn的值可以通过模型阶次辨识方法估计得出；uyRnn表示两层NARX神经网络的输入个数；1,ijw表示NARX神经网络隐藏层中第i个神经元和输入向量中第j个元素之间的连接权值；1S表示NARX神经网络隐藏层中神经元的个数；1ib表示NARX神经网络隐藏层中第i个神经元的偏置值；1in表示NARX神经网络隐藏层中第i个神经元的净输入；1()f表示NARX神经网络隐藏层神经元的传输函数，在此使用Tan-Sigmoid函数；1ia表示NARX神经网络隐藏层中第i个神经元的输出值；21,iw表示NARX神经网络的输出神经元和隐藏层中第i个神经元之间的连接权值；21b表示NARX神经网络输出神经元的偏置值；21n表示NARX神经网络输出神经元的净输入；2()f表示NARX神经网络输出神经元的传输函数，在此使用纯线性函数；21a既表示NARX神经网络输出神经元的输出值，又表示NARX神经网络在1k时刻的预测输出值(1)myk。假设(1)ppnn表示预测时域，式(1)和式(2)中的s遍历1,2,,psn中的任意一个元素，即可得到一个从k时刻开始pn维的预测输出向量(1)mky，向量形式如下所示：(1)(1),(2),,()Tmmmmpkykykykny(3)设计非线性预测控制律的过程，就是选择合适的pn维输入向量()mku，使得预测输出向量(1)mky尽可能逼近参考输出向量(1)rky的过程。()mku和(1)rky的向量形式如下所示：()(),(1),,(1)Tmpkukukuknu(4)(1)(1),(2),,()Trrrrpkykykykny(5)4仿真实验为了检验基于NARX神经网络的非线性多步预测模型的预测性能，假设某一非线性系统的输入输出映射关系如下所示：3()(1)2(2)(1)(2)sin(1)ykukukukukyk(23)首先为非线性系统加载一个高斯随机序列作为激励信号，如图(3)所示：05010015020025030035040000.10.20.30.40.50.60.70.80.91高斯随机序列时间：t输出：y图3高斯随机序列采集到的非线性系统的输出信号如图(4)所示：05010015020025030035040000.511.522.533.544.55随机信号激励输出序列时间：t输出：y图4非线性系统输出序列因为非线性系统的输入阶数un的值为2，输出阶数yn的值为1，因此基于NARX神经网络的多步预测模型的输入个数为3，输出个数为1。假设NARX神经网络的静态部分隐藏层中包含有20个神经元，随机初始化NARX神经网络的权值和偏置值，使用采集到的高斯随机信号和相应的输出信号作为训练样本进行网络训练，使得NARX神经网络能够预测未来十步之后的非线性系统输出。