人工神经网络判别个人信用评分

数说工作室一、人工神经网络原理1.基本概念（1）基本结构人工神经网络是一种模拟动物神经网络的算法，下图是人工神经网络的一个例子。1、2、3为网络的输入变量，6是输入变量，w14~w56成为突触权值，用来表示各个输入的不同重要程度，节点4、5、6为神经元。一个神经网络由三个部分组成：输入层、隐含层、输出层。输入层用来输入信号，比如在个人信用评分中，输入信号可以是个人的性别、年龄、教育、收入、消费等变量；输入层包含一个或多个神经元，比如个人信用评分模型中，输出层可以是个人的信用级别；输入层和输出层之间的层为隐藏层，一个神经网络可以包括一个或多个隐藏层。数说工作室（2）神经元神经网络的结构有很多不同类型，但其基本元素都是神经元。神经元的原理用下例来说明:图中神经元有输入信号：a1，a2，…an。w1,w2…wn分别是n个输入的突触权值，圆圈里的sum表示对输入信号加权求和，f为激活函数，t是神经元的输出。故而有：1()njjjtfwa（3）激活函数输入信号经过加权汇总之后，送入激活函数中进行函数变换。常用的激活函数有：线性函数：f(x)=k*x+c阈值函数：1()0xcfxxc数说工作室分段线性函数：1()*||0xcfxkxxcxcS形函数（sigmoid函数）：1()1exp()fxkxS形函数的导数为：2exp()()()[1()][1exp()]kkxfxkfxfxkx（4）神经网络的算法神经网络主要采用有导师学习和无导师学习算法。有导师学习又称监督学习，是根据网络计算出来的网络输出与期望输出的差别来调整连接权数，使得网络输出更加逼近期望输出，比如delta学习规则就是一种有导师的学习算法：假设对一个神经元j，第n次训练产生的输出为tj（n），期望输出为d(n)，两者之间的误差为e(n)=d(n)-tj(n)。那么经第n次训练调整后，第n+1次的权值为：(1)()()jijijiwnwnwnjiw表示神经元i到神经元j的突触权值，()jiwn为调整量，()()()jiiwnentn。为学习率参数，ti（n）表示此时神经元i的输出（也即神经元j的输入）。无导师学习抽取样本集合中蕴含的统计特性，并以神经元之间的联接权形式存于网络中。无导师学习没有外部评价来监督学习过程。Hebb学习规则是一种经典的无导师学习算法。它来源于巴普洛夫的条件反射实验，在条件反射实验中，每次给狗喂食前都会先摇铃，时间一长，够就会将铃声和食物联系起来，之后只要摇铃，狗就会流口水。受此实验启发，hebb学习规则的核心思想是：当两个神经元同时处于激发状态时两者间的连接权会被加强，否则被减弱。(1)()()()jijijiwnwntntnjiw仍表示神经元i到神经元j的突触权值，ti和tj为两个神经元的输出，为学习率，若ti与tj同时被激活，即同时为正，则wji（n+1）将增大；若一个被激活，一个被抑制，即一正一负，那么wji（n+1）将变小。另外，按照网络的结构，人工神经网络可以分为前向神经网络、反馈神经网络、自组织神经网络。前向神经如BP、多层感知器、RBF等，在分类过程中只能向前传送，只在训练过程中才会有反馈信号的网络结构。数说工作室网络，输入的值是由其输出通过某种反馈机制计算得到的。即输出到输入有反馈连接。自组织神经网络是一种无导师学习网络，通过寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数结构。2.几种神经网络简介（1）多层感知器下面为一个三层的感知器：输入层、隐藏层、输出层。数说工作室它的计算特点如下：1、各层内的神经元之间无任何连接，仅相邻层神经元之间有连接2、每个神经元使用的激活函数是可微的sigmoid函数，即S形函数。1()1exp()fxx3、为了统一量纲，且由于sigmoid函数在（0,1）区间以外很平缓，区分度很小，故在开始进行神经网络训练前，要将输入信号转换在[0,1]范围之间。4、输出信号如果与期望信号有差别，那么就转入误差反向传播的过程，并根据各层误差的大小来调节各层的权值。误差计算方式如下，把第p组样本代入时：当神经元j是输出神经元时，如下图：j为反向传播误差为：()()pjpjpjjdtfaSum=ajf(aj)=tpj期望输出dpj输出神经元j误差数说工作室形函数有，2exp()()()[1()](1)[1exp()]jjjjpjpjjafafafatta，因此反向传播误差为：()(1)pjpjpjpjpjdttt当神经元j在隐藏层时，如下图：其方向传播误差为：()(1)pjjpkjkpjpjpkjkkkfawttwK表示神经元有k个反向输入的误差，jkw是神经元j与神经元k的连接权值，pjt是神经元的输出，pk是与j相连的k神经元自己的误差（比如前面的情况，当神经元j是输出神经元时计算出的误差）。误差计算出来后，用误差调整权值，神经元i到神经元j的突触权值该变量为：(1)()ijpjpjijwnown其中，是学习率参数，；pj是神经元j的反向传播误差；pj是神经元i的输出；为动量常数；wij(n)是上一次的改变量。那么新的权值被更新为：(1)()(1)ijijijwnwnwn（2）RBF网络径向基函数（radial-basisfunction,RBF），即RBF网络，是一种3层前向网络，由输入层、隐藏层、输出层构成。如下图，假设输入变量就两个，隐含层有n个：隐藏层或输出层j4…21…Wj1,p1Wj2,p2Wjk,pk隐藏层数说工作室它的计算特点如下：1、同层之间没有连接，相邻两层之间则完全连接。2、输入层将信号输入，如图x1、x2，传送到隐藏层。隐藏层对输入产生非线性映射，一般用高斯函数进行映射，称为基函数。对于一个训练样本r[r1,r2]，进入神经元n后对于的高斯函数映射为：22()()exp2nrcr每个高斯函数的c确定方法有四种：随机选取中心法、自组织选取中心法、有监督选取中心法和正交最小二乘法。自组织选取中心法为：先用K-Means聚类法对样本生成n个聚类，每个聚类对应隐藏层的一个神经元，并且这个聚类的质心向量C(Cx1,Cx2)作为对应神经元的高斯函数的中心。方差的确定可以为：max12...2ndn那么就得到第n个隐藏层的输出：22||||exp2nnnrca输出层神经元对隐藏层神经元的输出进行加权组合，得到输出层神经元的输出：nnnowa3、突触权值的训练同样采用反向误差传播方法，更新方法：(1)()(1)nnnwtwtwt改变率的计算：(1)()()nnnwtroawt数说工作室注意在训练初始时，要将所有权值初始化在[-0.001,0.001]之间。（3）kohonen网络Kohonen网络是一种自组织竞争型神经网络，它源于生物神经系统中神经元的相互作用：一个神经细胞兴奋之后，会对周围其他神经细胞产生抑制作用，这种抑制作用会是神经细胞之间出现竞争，结果是某些获胜、另一些失败，表现形式是获胜神经细胞兴奋，失败神经细胞抑制。其网络结构如下：其计算特点如下：1、kohonen网络由输出层和竞争层组成，输入层是一维神经元，竞争层是二维神经元。输入层的神经元和竞争层的所有神经元的所有神经元都相互连接，每个连接都有一个相应的权值。竞争层也是输出层。竞争层之中，每个输出神经元和最近的8个神经元相连接，边沿的除外。2、网络训练主要有三步：初始化、归一化数据并输入——竞争并得到获胜神经元——以获胜神经元为加强中心，确定优胜领域——更新领域内的权值——反复迭代至达到阈值。初始化、归一化数据：归一化方法为：12211...||||Tnnnjjjjxxxxxxx它的意义在于将所有向量都限定在一个单位元之内：*********数说工作室竞争：输入样本i到输出神经元的输入为1KTjikjkjikuxwwx这个数最大，等价于输入向量和权值向量的欧式距离最小，欧式距离为：2()ijikjkkdxw距离最小的那个神经元为获胜神经元。确定邻域：以获胜神经元为“加强中心”，设定一个领域半径，该半径圈定的范围称为优胜邻域。Kohonen网络在训练过程中只更新邻域中的神经元的权值。该半径确定方法为：()int[(0)(1/)],0,1,2,...,CCNnNnNnNNC(0)为初始邻域半径，N为总迭代次数，int为取整函数。邻域NC（n）开始很大，随着迭代次数的增加而减少。更新权值：接着是更新邻域内的权值，比如邻域内的神经元j，在第t+1次迭代中，更新前的权值向量为Wj(t)，更新后的权值向量为：(1)()[()()]jjjjWtWtWtxth是学习率参数，Xj是神经元j的输入向量。学习率h也不断被更新，变化规则可以采用下式：()(0)(1)ttcC为总迭代次数，t为当前迭代次数。一般来说h会随着迭代次数的增加而衰减。迭代终止：当学习率衰减到一个阈值时，则终止迭代，否则继续迭代。二、案例分析1.案例说明有一份关于德国的真实消费信贷数据，自变量有20个，因变量有1个，代表信用分别为：变量类型变量序号说明自变量1Statusofexistingcheckingaccount2Durationinmonth3Credithistory4Purpose数说工作室因变量1Class现在有900个样本，用于训练人工神经网络模型，还有100份测试样本，训练出来的模型将用来测试这100份样本的信用情况，并与实际值相比较，评价模型的准确性。2.CLEMENTINE实现读取数据，并将总的1000份样本分为两部分，一部分900份，用来训练模型；一部分100份，用来测试并评价模型准确性。给模型分别附加多层感知器-快速方法、多层感知器-动态方法、多层感知器-多个方法、RBF、logit模型，分别建模：多层感知器-快速方法：附加人工神经网络节点，用快速方法（默认只有一个隐藏层，专家模式可以修改），勾选预防过度训练，并设置80%样本，不采用专家模式。多层感知器-动态方法：附加人工神经网络节点，用动态方法（先创建一个简单的原始拓扑，在不断将神经元添加到网络）。勾选预防过度训练，并设置80%样本，不采用专家模式。多层感知器-多个方法：附加人工神经网络节点，用多个方法（创建多个不同的拓扑网络，训练结束后，选择精确性最高的作为最后的模型），勾