基于云变换的云神经网络

基于云变换的云神经网络一、引言云神经网络具有良好的性能，原因在于：⑴BP短发对初始权值非常敏感，而云变化能从样本数据中提取初始的网络权值，这大大提高了训练速度。⑵云神经网络能较好的体现随机性、模糊性和两个样本之间的相关性基于云变换的云神经网络实现步骤：⑴通过云变换，把连续数据离散化，实现定量与定性之间不确定的转换。从而得到云的数字特征。⑵用前一步得到的云数字特征来初始化云神经网络的权值。⑶云神经网络训练：训练云神经网络，通过训练样本来调整权值。模型的准确度达到规定要求后，训练结束。⑷把测试样本输入网络，进行预测。二、云变换的步骤：⑴对属性kA的论域中的每一个可能属性值x，计算数据库中含有该属性值的记录个数，得到kA的频率分布函数()fx。⑵寻找数据分布函数()fx分波峰所在位置，将其属性值定义为云的质心位置（期望）iEx，计算用于拟合()fx的，以iEx为期望的云模型的熵，计算云模型的分布函数()ifx。⑶从()fx中减去已知云模型的数据分布()ifx，得到新的数据分布函数'()fx，并在此基础上重复⑵、⑶，得到多个基于云的数据分布函数。⑷根据已知的()fx，最后得到的拟合误差函数'()fx及各个云模型的分布函数，计算基于云模型的定性概念的3个特征值。三、云神经网络结构图①第一层：输入层，设输入值[12.....]xxxxn输入：(1)(0)iiifxx，输出：(1)(0)(1)iiixgf，1,2,.......,in②第二层：前向云发生器层，每个节点代表一个语言变量，产生隶属度ji(1)*ijijijEnnrandnHeEn输入：(1)2(2)2()iijijxExfEnn输出：(1)222()(2)(2)iijijxExfjEnnijiijxgee（1,2,.....,in；1,2,.....,ijm）③第三层：软与层，每个节点代表“软与”运算，功能是匹配云规则及产生每个规则的隶属度。“软与”操作可通过多维正态云11221122(1,,,1,,,.....,1,,)nniiiiiinnCEnxHexEnxHexEnxHex来表示。111111(1)*iiiEnnrandnHexEnx222222(1)*iiiEnnrandnHexEnx...(1)*nnniiinnnEnnrandnHexEnx输入：1212(3)1222212111exp((.....))()()()nniiinjiiinfEnnEnnEnn输出：(3)(3)(3)jjjjxagf其中11221,2,....,,1,2,.....,,.....,1,2,....,mnimimim11,2,....,;niijmmm（m为规则数）kiiHex是第i个输入元素相对于第k条规则的超熵。④第四层：标准化层。它的功能是标准化确定度。输入：(3)(4)(3)1jmiiixfx，输出(4)(4)4,1,2,....,jjjjxagfjm⑤第五层：后向云发生器层。它的功能是反模糊化，并输出计算的值。输入：(5)(4)11mmiijjijjjjfwxwa输出：(5)(5)(5),1,2,....,iiiixygfir四、网络的学习算法参数的自适应调节算法采用BP算法。网络输出误差的学习函数为211()2riiiEty，其中it是理想输出，iy是实际输出。①后向云发生器层。反传误差项为(5)(5)iiiiEEtyfy参数修正项(5)5(4)(5)()iijijiijiijfExtyaf其中1,2,....,ir②标准化层。反传误差项为(4)(5)(4)(5)(4)(5)(4)(4)11rrjijiijiijijjgfEEffgf其中1,2,....,jm③软与层。反传误差项为(3)(4)(3)(4)(4)(3)(4)(3)(3)211111()()mmmjkjjikkmkikjkjjijkjiigfEEaaffgfa当(2)jijig是第k个规则节点的一个输入时(3)(3)(2)1jnikkijjjjijijiffSg否则(3)(3)(2)0kkijjijiffSg②前向云发生器层。反传误差项为(1)2(2)2()(2)(3)(2)(3)(2)(3)(2)(2)(3)(2)(2)111iijijijxExmmmfEnnijkjkijkijkkkijkijijgfEESeSeffgf得到所求的一阶梯度为(2)(1)(2)(2)22()ijiijijijijijijfxExEEExfExEnn(2)(1)2(2)(2)32()ijijiijijijijijijijfEnnxExEEEnfEnnEnEnna)在求得所需的一阶梯度后，最后给出参数调整的学习算法为(1)(),1,2,....,,1,2,....,ijijijEkkirjm(1)(),1,2,....,,1,2,....,ijijiijEExkExkinjmEx(1)(),1,2,....,,1,2,....,ijijiijEEnkEnkinjmEn其中为学习速率。b)He的调整方法如果ijEx，ijEn确定了，则定性概念的中心和宽度就确定了，那我们就可以利用反向云算法来获得超熵的值。反向云算法为：输入：定性概念的样本点ix输出：每个定性概念的超熵He步骤：（1）计算属于定型概念的样本方差。设XEx，则样本方差为2211()1niiSxXn。（2）计算超熵。22HeSEn。