基于感知神经网络的图像恢复研究

基金项目：国家自然科学基金资助项目(61163040)，华东交通大学校立课题资助项目(09102018)．作者简介：何春梅(9181-)，女，博士，讲师，主要从事神经网络理论及应用研究，E-mail:[e-mail]．基于进化形态神经网络的图像恢复何春梅（华东交通大学信息工程学院,江西南昌330013）摘要：本文提出了进化形态神经网络的概念，给出了进化形态神经网络的误差能量函数关于连接权值的非连续偏导数的计算方法，进而给出了网络连接权值的调整计算公式，之后为进化形态神经网络提出了一种新的学习算法，用遗传算法获取参数学习率的最优值，最后将训练好的进化形态神经网络用于脉冲噪声图像恢复，仿真实验表明该进化形态神经网络在图像恢复方面具有良好的潜力。关键词：形态神经网络；图像恢复；学习算法；遗传算法中图法分类号TP183ImagerestorationbasedonEvolutionalmorphologicalneuralnetworksChun-meiHe(SchoolofInformationEngineering,EastChinaJiaotongUniversity,Nanchang330013,China)Abstract:TheconceptofEvolutionalmorphologicalneuralnetworks(EMNNs)isintroducedinthispaper.ThepartialderivativesformulasofthediscontinuederrorfunctionsandtheadjustingcomputationoftheweightsintheEMNNsareproposed.Andanewlearningalgorithmispresentedforgeneticmorphologicalneuralnetworks.ThentheEMNNsareproposedandappliedtorestoretheimpulsenoiseimages.ThesimulationexperimentsshowsthattheimagerestoredbytheproposedEMNNsisquitegoodandtheproposedmethodcanbewellappliedintoimagerestoration.Keywords:morphologicalneuralnetwork;imagerestoration;learningalgorithm;Geneticalgorithm1引言人工神经网络和形态学结合产生了形态神经网络[1-9](MorphologyNeuralNetworks,MNN)，MNN的概念来自图像代数[5]，在MNN中每个神经元节点都执行相应的形态学算子。MNN已广泛应用于图像恢复中，文[1]提出了用遗传算法训练模块化形态神经网络（ModularMorphologicalNeuralNetwork,MMNN）的参数，包括内部权值、网络结构和模块的数目，并将训练好的MNNN用于灰度图像的恢复和边缘检测；文[2]提出了一种由形态秩滤波器和线性滤波器组合而成的非线性滤波器用于灰度图像恢复和辨识，其中滤波器的训练采用的学习算法是最小均方差算法。文[3,4]提出将多层形态神经网络(Multi-layerMorphologicalNeuralNetwork,多层MNN)用于彩色图像的恢复，将彩色图像看成是RGB三通带的灰度分量图像组合而成，实质也是灰度图像处理，仍然采用最小均方差算法训练多层MNN的权值。可见上述文献中，对于MNN的训练算法多数采用的是最小均方差算法，其算法中学习率和动量因子都是固定的，不具有自适应性，而且学习率的设置需人工设置，设置不当可能导致算法振荡或者不收敛。本文将一种进化算法：遗传算法和多层MNN结合形成进化形态神经网络，进化形态神经网络的2拓扑结构和计算基础和形态神经网络一样，不同的是其训练学习过程。在进化形态神经网络的学习训练中，本文基于遗传算法为网络提出一种新的学习训练算法，并将训练好的进化形态神经网络用于脉冲噪声图像的恢复，用于图像处理的神经网络模型众多，如Hopfield神经网络[10]和混沌神经网络[10]、模糊神经网络[11]、脉冲耦合神经网络[12]和形态神经网络[1-4]等，本文将所提出的进化形态神经网络进行图像恢复，仿真效果良好，为今后图像恢复提供了一种新的实用途径。2进化形态神经网络(EMNN)的数学基础基于格代数的矩阵算子被广泛地应用到工程科学中。在这些应用中，传统的矩阵加法和乘法算子被相应的格代数算子所代替。将格代数引入到矩阵算子中产生了一类完全不同的非线性变换的观点。以格代数的矩阵算子为基础形成的MNN最初是由Ritter和Davidson等人[6-8]提出的。进化形态神经网络和多层MNN的计算基础大体一样，对此本节加以简单介绍。在一般的人工神经网络中，第m层节点j的输入输出关系为：n1ijijijw)m(xf)1m(x(1)而在进化形态神经网络中，(1)式中加法和乘法运算将分别用加法和取最值（最大或最小）的运算取代，其中神经网络的节点的输入输出关系被修改为非线性的计算。进化形态神经网络的拓扑结构如图1所示，可知进化形态神经网络是一个多输入单输出的多层前馈神经网络。图1进化MNN的拓扑结构设网络的第i个输入训练样本为)K,,2,1i(,x,,x,xxiN2i1ii，第j个隐含层神经元的输出为)H,,2,1j)(t(uj，K表示训练样本个数，N为每个训练样本的维数，H为隐含层中的神经元个数，N取决于结构元素的大小(如本文中选择的9邻域的结构元素，则N=9)，而隐含层神经元个数可以自由选择。整个网络的输出为v(t)。ijWi表示输入层第i个节点到隐含层第j个神经元的连接权值，jWo表示隐含层的第j个神经元到输出层的连接权值，它们直接的关系如下：ijin1ijjWi)t(xf)t(u或ijin1ijjWi)t(xf)t(u(2)上式中，∨和∧分别表示取最大或最小值的运算，N为输入神经元的个数（即输入训练样本维数）。3输出层为一个节点组成，整个网络的输出v(t)为)t(uWof)t(vjH1jj(3)上述(2)-(3)式中，隐含层激活函数为zje11)z(f)t(u，其中ijin1iWi)t(xz；输出层的激活函数为z)z(f，即z)z(fv，其中H1jjj)t(uWoz。3进化形态神经网络(EMNN)的训练将EMNN用于图像恢复之前，我们先要将EMNN的连接权值Wo和Wi训练好。假设每个输入训练样本的维数为N（对应网络输入层神经元节点数为N），训练样本数为L。在整个图像恢复中，网络的训练是一个监督学习的过程，即训练EMNN使得期望输出和实际网络输出的均方误差达到最小，选用的均方误差指导函数E如下：N1i2iijijydN21Wo,WiE(4)其中iiyd和分别表示第i个输入训练样本对应的网络的实际输出和期望输出，即实际输出iy的复合函数为：,e11)z(f)t(u,)t(uWoz),z(f)t(vy2z2jH1jjj11iiji33n1i2Wi)t(x)i(z,)i(zz。采用基于遗传算法的共轭梯度算法来训练网络的连接权值jijWoWi和，在迭代的每一步，用遗传算法获取学习常数η的最优值，其网络连接权值的调整公式如下，其中η为学习常数，α为动量因子。)1t(Wi)t(Wi)t(WiE)t(Wi)1t(Wiijijijijij(5))1t(Wo)t(Wo)t(WoE)t(Wo)1t(Wojjjjj(6)其中)t(WiEij和)t(WoEj是误差指导函数E对两个连接权值的梯度向量，按照复合函数偏导的链式求导规则，其计算过程如下：4)t(Wiz)t(u1)t(u)t(Wo)yd()t(Wizz)t(u)t(uzzyyE)t(WiEij2jjjiiij22jj11iiij(7)).t(u1)yd()t(WozzyyE)t(WoEjiij11iij(8)其中偏导数)t(Wizij2在点ijiWi)t(x并不连续，受文献[13,14]的启发，我们定义偏导数)t(Wizij2如下：.Wi)t(xWi)t(xlsee,0,Wi)t(xWi)t(xif,5.0,Wi)t(xWi)t(xif,1Wi)t(xWi)t(x,Wi)t(xWi)t(xWi)t(xWiWi)t(xWi)t(xWi)t(x)t(Wizijisisjsijisisjsijisisjsijiijisisjsn1iijiijin1iijijiijiijin1iij2，算法1基于遗传算法的共轭梯度算法Step1初始化：给出学习算法的训练模式对x，d，其中x是网络的输入向量，d是网络的期望向量，y为网络的实际输出。设定误差上限0，迭代最大步数MaxTime，令迭代时间步数t=1，随机初始化连接权值Wi和Wo。Step2对网络进行第一次训练，计算误差函数E的值。Step3WHILE(E?andtMaxTime)Do(1)按照(7)-(8)式分别计算误差函数E的两个梯度向量：)t(WiEij和)t(WoEj。(2)采用遗传算法获取学习常数η的最优值：递减对),0(WiE)t(WiE|0max]t[。(3)按照(5)-(6)式计算网络的两个连接权值Wi和Wo，其中η为学习常数，α为动量因子。(4)t=t+1.(5)计算第i个训练样本输入ix网络的误差函数N1i2iijijydN21Wo,WiE。ENDWHILEStep4保存权值向量Wi和Wo用于图像恢复。采用遗传算法GA来获取上述算法中的最优学习常数的主要过程如下：(1)编码。将每个学习率近似地表示为一个固定长度的二进制数。每个二进制串就代表了5一个可能解，所有可能解共同组成了解空间。(2)初始化。设置进化过程中的种群个体的总数为n。从解空间中随机选取n个点)n,,2,1j)(j,0(组成初始种群)}n,0(,),1,0({)0(P，并设置迭代次数t=0，最大迭代步数Max_gen=50。(3)计算适应度。任取)t(P)j,t(，计算))j,t((G，其中P(t)为第t代种群。(4)遗传选择。采用赌轮选择机制，个体)j,t(生存概率为n1jj))'j,t((G/))j,t((GP。(5)遗传算子。从种群P(t)中随机选取两两配对的个体)j,t(),j,t(21，设rC是交叉算子，其中的交叉概率为cP。变异算子会使二进制串个体的某些基因位的值发生改变，变异概率选取较小的值，如0.005。(6)停止条件，重复上述(3)-(5)步直至找到满意的解或达到最大迭代步数。4仿真实验原图像为EMNN对应的期望输出d，将原图像加入脉冲噪声得到退化图像A，按照下列方法采样以获取网络输入矩阵X：设退化图像为灰度图像A，我们选用的结构元素是3*3的滑动窗口，即退化图像像素,1,2,,,1,2,,pqapmqn周围的一个9邻域。首先我们沿着退化图像的前三行从左到右依次取pqa周围9邻域的9个像素作为一个训练样本ix，然后是接下来三行进行取样，从而获得输入矩阵X。我们采用滑动窗口对图像整体进行全局取样获得输入矩阵X，因此退化图像边缘处的两行两列像素点不会被扫描到，如果退化图像是m*n的矩阵，则可以采样获取K=