神经网络复习资料

神经元的数学模型，网络结构，输入与输出网络结构：递归网络、单层前馈馈，多层前馈BP神经网络是误差反向传播神经网络的简称。激活函数的类型1阈值函数2sigmond函数神经网络中常见的非线性单元三种基本的神经网络架构感知机、Hamming网络、Hopfield网络知识表示的规则三种距离（1）欧几里得距离x（1）与x(2)距离：:内积：根据教师信号有无，机器学习可分为有教师学习和无教师学习，其中无教师学习又分为无监督学习和强化学习传统电子计算机与神经网络计算机的异同机器学习有哪些任务1模式联想，模式识别，函数逼近，控制，波束形成2第一章感知器收敛定理:感知器收敛算法：感知器收敛条件：初始条件w(0)等于0贝叶斯分类准则：感知器与贝叶斯的比较:2章如何克服感知器非线性可分的条件约束，举例说明如何解决XOR问题XOR问题就是如何用神经网络实现异或逻辑。写出线性回归的表示，并给出最大后验和最大似然估计权重向量计算公式，并指出两者的不同点最大似然估计最大后验估计无约束优化方法：当观察样本趋于无穷时，线性最小二乘滤波器渐进于维纳滤波器：最小均方算法：最小均方算法和最小二乘算法区别：准则函数不同最小均方算法代价函数：更新公式：最小二乘算法代价函数：更新公式：w(n+1)=(XT(n)XT(n))-1XT(n)d(n)3正则最小二乘算法更新函数：W=[Rxx(N)+λI]-1rdx(N)隐藏神经元的功能：=批量学习和在线学习的区别：如何用多层感知器解决XOR问题：主量分析：2．1PCA算法介绍2．1．1PCA原理令x为表示环境的m维随机向量。假设x均值为零，即：E[x]=O．令w表示为m维单位向量，x在其上投影。这个投影被定义为向量x和w的内积，表示为：而主成分分析的目的就是寻找一个权值向量w使得表达式E[y2]的值最大化：根据线性代数的理论，可以知道满足式子值最大化的训应该满足下式：即使得上述式子最大化的w是矩阵Cx的最大特征值所对应的特征向量。2．1．2主成分的求解步骤在PCA中主要的是要求出使得方差最大的转化方向，其具体的求解步骤如下：(1)构建关联矩阵：Cx=E[x*xT]，Cx∈Pn*n.在实际应用中，由于原始数据的数学期望不容易求解，我们可以利用下式来近似构造关联矩阵：(其中x1，x2，…，xN，是各个原始灰度图像所有象素点对应的向量，N是原始图像的个数)(2)先计算出Cx的各个特征值(3)把特征值按大小排序(4)计算出前m个特征值对应正交的特征向量构成w。(5)将原始数据在特征向量w上进行投影，即可获得原始图像的主特征数据。GHA与KPCA的比较：最大特征滤波器最终结果：PCA的图像压缩原理：自组织学习的原则:自增强、竞争、协作、结构化信息。