神经网络试卷

神经网络试卷一、填空题（30分）１、人工神经元网络是由大量的神经元网络通过极其丰富和完善的联接而构成的自适应非线性动力系统。研究神经网络可以分为两个过程，即快过程，指神经网络的计算过程；慢过程，指神经网络的学习过程。２、神经元（即神经细胞）是由细胞体、树突、轴突、和突触四个部分组成。３、神经元的膜电位是指以外部电位作为参考电位的内部电位；静止膜电位是指没有输入时的膜电位，通常为-70mv；动作过程是指外界有输入时，受其影响膜电位的变化过程。４、神经元的兴奋是指神经元产生膜电位约为100mv，时宽约为1ms的脉冲过程，膜电位的阈值为-55mv，大于-55mv则兴奋。５、自组织过程就是一种非监督学习，这种学习的目的是从一组数据中提取有意义的特征或某种内在的规律性，它所遵循的规则一般是局部性的，即联接权的改变只与近邻单元的状态有关。６、人工神经元网络按网络结构可分为前馈型和反馈型；按网络的性能分为连续性和离散性、确定性和随机性网络；按学习的方式可分为有导师和无导师学习；按照突触联接的性质分为一阶线性关联与高阶线性关联。７、D.D.Hebb学习规则是由HebbDD提出来的，是最早、最著名的训练算法，Hebb规则假定：当两个神经细胞同时兴奋时，它们之间的联接强度应该加强。在ANN中Hebb算法最简单的描述为：如果一个处理单元从另一个处理单元接收输入激励信号，而且两者都处于高激励电平，那么处理单元间的加权就应当增强。８、误差反传算法的主要思想是把学习过程分为两个阶段：第一阶段（正向传播过程）给出输入信息通过输入层经隐含层逐层处理并计算每个单元的实际输出值；第二阶段（反向过程），若在输出层未能得到期望输出值，则逐层递归的计算实际输出与期望输出之差值（误差）以便根据此差值调节权值，具体些说，就是可对每一个权重计算出接收单元的误差值与发送单元的激活值积。９、在统计模式识别和回归分析中，降低输入变量的维数是很重要得。设原始变量x为d维，md。如果简单对x进行截断，所带来的均方误差等于舍掉的各分量之和。主要成分分析（principlecomponentsanalysis）具体说找到一个可逆的变量T使得对Tx的截断在均方差意义下最优。１０、神经网络常用的七种学习规则是：Hebb学习规则、感知器的学习规则、δ学习规则、Widrow-Hoff学习规则、相关学习规则、Winner-Take-All（胜者为王）学习规则、内星和外星学习规则。二、简答题（40分）１、在神经网络PCA算法中，为什么引入非线性PCA算法？答：因为我们讨论的线性PCA变换，存在一些不足：（1）常规的PCA可用数值法有效的求解，而基于梯度法的神经网络收敛较慢（2）主分量只由数据的二阶统计量——自相关阵确定，这种二阶统计量只能完全描述平稳的高斯分布的数据。（3）PCA网络不能从线性组合中把独立的信号成分分离出来。若网络中引入非线性，用神经网络又更大的优势，因为（1）输入到输出的变换是非线性的，使得用神经网络更有效。（2）梯度法通过迭代计算，避免了非线性方程，且可以用模拟硬件电路实现。（3）可以使用如累计量这样的高阶统计量，可以代表非高斯数据。（4）非线性处理可以使输出更加相互独立。２、试用三层BP网络求解异或问题？答：建立三层BP网络的结构图如下：输出为：X1X2Y1Y2Y00000111100110110101其中：5.15.0212211xxyxxy3、简述神经元的动作特征？（1）空间性相加设任意一个输入信号xi，引膜电位的变化量：wixi，则x1,x2,…,xn引气膜电位总的变化量记为：niiixwu1＝W·X（２）时间性相加设wi(t’)表示第i个输入端的单位强度的输入信号（xi=1时）对t’间隔之后产生的膜电位变化量，则xi在t时刻引起的膜电位变化量为：tiiiiiiitwtxtxtwdtttxtwtu)()()()()'()()(（３）阈值的作用)(ufZ非线性关系（４）不应期绝对不应期：膜电位低于静止膜电位-70mv。相对不应期：膜电位稳定在-55mv，外界有变化就响应。（５）疲劳随着持续兴奋，阈值不断提高，神经元难以兴奋。（６）可塑性突触权wi随信号xi的强弱和神经元的兴奋程度变化而变化。4、简述Hebb学习规则？答：考虑有ｎ个输入的单个神经元，其权向量为w∈Rn,输入向量x∈Rn,外加应有输出值ｄ，输入信号按未知概率分布p(x,d)提供。则神经元的统一学习方程为：)(]),(),([)()()(txdtxtwrttwdttdw省略时间变量ｔ，把化为右端常数，有离散情况：wdxwrw),,(连续情况：wdxwrW),,(其中，,为正实数，dtdwW，),,(dxwr为学习信号，取),,(dxwr0,xwyT，得到Hebb学习规则yxW三、问答题(30分)１、推导PCA的工作原理？答：令x代表d维随机向量，假定其均值为零，即E[x]=0。令u代表一个d维单位向量，即||u||=(uTu)1/2=1,x在u上的投影为a=xTu=uTxa亦为随机变量，均值为零（因为E[a]=uTE[x]=0），其方差为σ2＝E[a2]=E[(uTx)(xTu)]=uTE[xxT]u=uTRxxu其中d×d阵Rxx为x的自相关阵（均值为0时即为协方差阵），它是一个对称阵，从上式可见a的方差σ2式u的函数，即φ(u)=σ2=uTRxxu如希望找到一个方向u使得方差φ(u)达最大，在极值出如对u有一个很小的扰动δu，应满足φ(u+δu)≤φ(u)而φ(u+δu)＝（u+δu）TRxx（u+δu）=uTRxxu+2(δu)Rxxu+(δu)TRxxδu忽略的二次项，得φ(u+δu)≈φ(u)+(δu)TRxxu由此可见，（δu)TRxxu≈0（1）由于||u+δu||=（u+δu）T（u+δu）≈1所以有（δu)Tu≈0（2）可见δU得方向近似与U正交，即只允许在方向上有变化，由于U本身没有量纲的，要把（1）和（2）联合在一起，需要一个尺度因子λ（δu)TRxxu-（δu)Tu=0即（δu)T（Rxxu-λu）=0可见u满足下式Rxxu＝λu这是矩阵Rxx的特征值方程，即u为Rxx的特征向量。Rxx为实对称阵时，它的特征值是非负实数，且对应不同特征值的特征向量是正交的。用λ0,λ1,…,λd-1表示Rxx的d个特征值，则有Rxxuj=λjujj=0,1,…,d-1设λj的排序为λ0≥λ1≥…≥λj≥λj-1,用各特征向量构成一个矩阵U=[u0,u1,…,ud-1]则有RxxU=UΛ，其中Λ＝diag(λ0,λ1,…,λd-1)，U为正交阵（其列向量相互正交），即UTU=I，或UT=U-1.所以有如下相似变换UTRxxU=Λ展开后有jkjkuRujkxxTj,0,即φ(uj)=λj，j=0,1,…,d-1根据以上分析可令aj=ujTx=xTuj，j=0,1,…,d-1若令a=[a0,a1,…,ad-1]T=[xTu0,xTu1,…,xTud-1]T,则有a=UTx，或x=Ua=10djjjua。如果希望把x压缩到m维，且满足压缩后的均方误差为最小，可按如下方式进行。令λ0λ1，…,λm-1为Rxx的前m个最大特征值。则选择变换后的前m个分量即可：X’=10djjjuamd这样做误差为e=x-x’=1dmjjjua原始变量x的d个分量的总方差为102djj=10djj而变换后的向量的前m个分量方差为102mjj=10mjj可见，误差向量e的方差的大小是1dmjj。２、求（０，１）模型下的活动度变换函数F(X)？答：设wji，sj，hj独立的，服从正态分布s＝E(sj),2s=V(sj),h=E(hj),2h=V(hj),w=E(wj),2w=V(wj)step1：ｎ的个数11jnijjzznz根据大数定理得到：Z=prob{Zi=1}step2：uj的平均膜电位uj=ijjijihsxwZj=1uj＞0,所以Z=prob{ui＞0}=F(Z)step3：设p(u)为uj的概率密度，则F(Z)=prob{ui＞0}＝０duup)(因为wji，sj，hj服从正态分布，所以uj也服从正态分布。step4：hsXwhsxwmhsxwEuiiijjiji1)]([2222)(][hswijjijijuXhsxwVuV)(21)()(]2)(exp[21)(202022uyuuuudyeuuyduupZFuuupu令