人工神经网络算法

目录神经网络原理神经网络模型算法实施步骤卷积神经网络手写数字识别4：3使用梯度下降来搜索可能的权向量的假设空间，以找到最佳的拟合样例的权向量。具体而言，即利用损失函数，每次向损失函数负梯度方向移动，直到损失函数取得最小值核心思想g(z)=11+e−z输入层到隐藏层：权重值为W；偏置项为b1；激活函数为g1隐藏层到输出层：权重值为V；偏置项为b2；激活函数为g2向前传播2112ˆbbXWgVgYTT常用的激活函数主要有：sigmoid函数tanh函数ReLU函数激活函数将前向传播的结果代入损失函数计算出一个loss值，再将loss一步步回传，使用梯度下降法更新各层的权重值和偏置项损失函数是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。损失函数可以看做误差部分+正则化部分为容忍程度，其值越大，模型的容错就越强为正则化惩罚项，用来调整“结构风险”在一定程度上避免过拟合。初始化网络中的权值和偏置项激活前向传播得到各层输出和损失函数的期望值根据损失函数计算计算输出单元的误差项和隐藏单元的误差项更新神经网路中的权值和偏置项重复步骤2-4直到损失函数小于事先给定的阈值或迭代次数用完为止根据链式法则求loss值下降最快的方式具体步骤神经网络模型霍普菲尔网络（HN）前馈神经网络（FFNN）径向基神经网络（RBF）霍普菲尔网络（HN）马尔可夫链（MC）玻尔兹曼机（BM）受限玻尔兹曼机（RBM）自编码机（AE）稀疏自编码机（SAE）变分自编码机（VAE）去噪自编码机（DAE）深度信念网络（DBN）解卷积网络（DN）卷积神经网络（CNN）深度卷积逆向图网络（DCIGN）生成式对抗网络（GAN）循环神经网络（RNN）长短期记忆（LSTM）门循环单元（GRU）神经图灵机（NTM）深度残差网络（DRN）回声状态网络（ESN）极限学习机（ELM）液态机（LSM）支持向量机（SVM）Kohonen网络•萌发期（1943-1956）：MP模型的提出和人工神经网络的兴起•第一次高潮期（1957-1968）：感知器模型和人工神经网络•反思期（1969-1984）：神经网络的低潮•第二次高潮期（1984-2006）：Hopfield网络模型的出现和人工神经网络的复苏•第三次高潮期（2006-？）：深度学习神经网络节点图asimovinstitute艾西莫夫研究所CNN的基本模块CNN（ConvolutionalNeuralNetworks）由输入和输出层以及多个隐藏层组成，隐藏层可分为卷积层，池化层、RELU层和全连通层输入层输出层卷积层RELU层池化层全连通层卷积神经网络在图像识别中大放异彩，达到了前所未有的准确度，有着广泛的应用CNN的实现架构图像输入先对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息卷积卷积层是用来对输入层进行卷积，提取更高层次的特征池化它的作用是减小数据处理量同时保留有用信息全连接层在整个卷积神经网络中起到“分类器”的作用，即通过卷积、激活函数、池化等深度网络后，再经过全连接层对结果进行识别分类。首先，将经过卷积、激活函数、池化的结果串起来作为分类器的输入代入全连接层进行训练其次，根据训练样本对模型进行训练，从而得到全连接层的权重最后，将模型计算出来的结果，进行加权求和，得到各个结果的预测值，进行结果识别全连接层卷积神经网络主要由两部分组成，一部分是特征提取（卷积、激活函数、池化），另一部分是分类识别（全连接层）将以上所有结果串起来后，就形成了一个“卷积神经网络”（CNN）结构卷积神经网络“新数据的分类取决于它的邻居”“新数据的分类取决于它的邻居”如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。K-近邻算法实现手写数字识别“新数据的分类取决于它的邻居”根据测试数据与每个训练集数据距离的大小来判断该测试数据分属哪个类别KNN实施步骤取最小从距离数组中取出最小的K个距离所对应的训练集的索引，得到拥有最多索引的值04.求距离用测试数据与矩阵A中的每一列求距离求得的L个距离存入距离数组中03.数据转存把L个单列数据存入新矩阵A中，矩阵A每一列存储一个图片的所有信息02.图片转化将所有（L个）训练数据也都用上方法从图片形式转换成只有一列的0-1矩阵形式01.CNN实现手写数字识别传统人工智能算法与深度学习算法的对比CNN实现手写数字识别精确度能达到97.37%KNN实现手写数字识别官方最高精确度为91%数据规模越大，深度学习效果越好•神经网络之BP算法•25个神经网络模型•CNN初探•卷积神经网络•几种常见的激活函数参考文献谢谢观看THANKYOU