深度学习汇报

线性系统理论目录CONTENT1深度学习2卷积神经网络3TensorFlowPlayground4参考文献深度学习深度学习的应用1.计算机视觉2.自然语言处理3.人机博弈参考文献：[1]Krizhevsky,A.,Sutskever,I.,&Hinton,G.E.(2012).Imagenetclassificationwithdeepconvolutionalneuralnetworks.InAdvancesinneuralinformationprocessingsystems(pp.1097-1105).[2]Zeiler,M.D.,&Fergus,R.(2013).Visualizingandunderstandingconvolutionalneuralnetworks.arXivpreprintarXiv:1311.2901.[3]HaykinS.NeuralNetworks:AComprehensiveFoundation[J].NeuralNetworksAComprehensiveFoundation,1994:71-80.[4]HaganMT,BealeM,BealeM.Neuralnetworkdesign[M].ChinaMachinePress,2002.神经网络分类神经网络神经元多层网络神经元结构模型神经网络构造一个超大型卷积神经网络[1]，有9层，共65万个神经元，6千万个参数。网络的输入是图片，输出是1000个类大型神经网络第一层：识别颜色和简单纹理第二层：识别更加细化的纹理，比如布纹、刻度、叶纹第三层：负责感受黑夜里的黄色烛光、鸡蛋黄、高光第四层：识别萌狗的脸、七星瓢虫和一堆圆形物体的存在第五层：可以识别出花、圆形屋顶、键盘、鸟、黑眼圈动物虽然单个神经元傻不拉叽，但是65万个神经元能学到的东西很深邃。神经网络优化算法历年ILSVRC图像分类比赛最佳算法错误率计算机视觉ILSVRC2013物体识别数据集中的样例图片1.在人脸识别数据集上LFW（LabeledFacesintheWild）上，基于深度学习算法系统DeepID2可以达到99.47%的识别率2.光学字符识别（ORC）是使用深度学习比较早的领域之一。在MNIST手写体数字识别数据集上，深度学习算法可以达到99.77%的正确率深度学习在语言模型、机器翻译、词性标注、实体识别、情感分析、广告推荐等方向取得了突出成就。自然语言处理1.深度学习可以大幅度的提高翻译的质量2.在谷歌的翻译长产品中，有8种语言是基于深度学习的翻译算法实现的2016年，谷歌开发的围棋人工智能系统ALphaGo以总分4：1战胜了韩国棋手李世石人机博弈1.ALphaGo由三部分组成：蒙特尔卡罗树搜索（MCTS）、估值网络和走棋网络2.ALphaGo真正的大脑是估值网络和走棋网络；走棋网络能以57%的准确率预测对方围棋的下一步落子点。1997年，IBM的智能国际象棋系统深蓝击败了世界冠军搜索围棋下子方法的复杂度是10^172，而国际象棋只有10^46卷积神经网络我们应当把CNN当作一个黑盒子，不要关心为什么，只关心结果。神经网络的结构会对神经网络的准确率产生巨大的影响，而卷积神经网络是一个非常常用的神经网络结构。2参考文献：[5]JTSpringenberg,ADosovitskiy,TBrox,MRiedmiller.StrivingforSimplicity:TheAllConvolutionalNet[J].EprintArxiv,2014.[6]YosinskiJ,CluneJ,BengioY,etal.Howtransferablearefeaturesindeepneuralnetworks?[J].2014,27:3320-3328.[7]RazavianAS,AzizpourH,SullivanJ,etal.CNNFeaturesOff-the-Shelf:AnAstoundingBaselineforRecognition[C]//ComputerVisionandPatternRecognitionWorkshops.IEEE,2014:512-519.[8]DonahueJ,JiaY,VinyalsO,etal.DeCAF:adeepconvolutionalactivationfeatureforgenericvisualrecognition[C]//InternationalConferenceonInternationalConferenceonMachineLearning.JMLR.org,2014:I-647.CNN卷积神经网络对图进行逐个像素点对比图片发生变化，不是标准X，但是我们能够判断它为X；但是对于计算机而言它就是二维矩阵，不能逐个像素点对比。如何判断？CNN提取特征卷积神经网络计算机对于图像的认知是在矩阵上的，每一张图片有rgb二维矩阵（不考虑透明度）所以，一张图片，应该是3x高度x宽度的矩阵。而我们这个例子就只有黑白，所以可以简单标记1为白，-1为黑。是个9x9的二维矩阵把上面的三个特征作为卷积核(我们这里是假设已经训练好了CNN，训练提出的特征就是上面三个，我们可以通过这三个特征去分类X)，去和输入的图像做卷积(特征的匹配)。t卷积神经网络以上是一个具体的卷积过程，具体的结果填入新的矩阵如下图所示卷积神经网络最后，我们整张图用卷积核计算完成后：卷积神经网络不断地重复着上述过程，将卷积核（特征）和图中每一块进行卷积操作。最后我们会得到一个新的二维数组。其中的值，越接近为1表示对应位置的匹配度高，越是接近-1，表示对应位置与特征的反面更匹配，而值接近0的表示对应位置没有什么关联。卷积神经网络池化层以上就是我们的卷积层，通过特征卷积，输出一个新的矩阵给下一层。在图像经过以上的卷积层后，得到了一个新的矩阵，而矩阵的大小，则取决于卷积核的大小，和边缘的填充方式，总之，在样例中，我们得到了7x7的矩阵。池化就是缩减图像尺寸和像素关联性的操作，只保留我们感兴趣（对于分类有意义）的信息。常用的就是2x2的最大池。卷积神经网络在2x2的范围内，取最大值。因为最大池化（max-pooling）保留了每一个小块内的最大值，所以它相当于保留了这一块最佳的匹配结果（因为值越接近1表示匹配越好）。这也就意味着它不会具体关注窗口内到底是哪一个地方匹配了，而只关注是不是有某个地方匹配上了。CNN能够发现图像中是否具有某种特征，而不用在意到底在哪里具有这种特征。这也就能够帮助解决之前提到的计算机逐一像素匹配的死板做法。池化层卷积神经网络全连接层全连接层一般是为了展平数据，输出最终分类结果前的归一化。我们把上面得到的4x4矩阵再卷积+池化，得到2x2的矩阵全连接就是这样子，展开数据，形成1xn的'条'型矩阵。卷积神经网络全连接层全连接层连接到输出层。之前我们就说过，这里的数值，越接近1表示关联度越大。新的图像丢进我们的CNN了，根据卷积池化卷积池化全连接的步骤，我们得到了新的全连接数据，然后去跟我们的标准比对，得出相似度，可以看到，相似度是X的为0.92所以，我们认为这个输入是X。卷积神经网络Relu是常用的激活函数，所做的工作就是max(0,x)，就是输入大于零，原样输出，小于零输出零TensorFlowtensor（张量）的flow（流动），我们要讲的侧重点是阐述的侧重点是“张量如何流动”。3TensorFlow除了TensorFlow，目前还有一些主流的深度学习开源工具。从上图数据看出，TensorFlow都要远远超过其他深度学习工具，在未来具有更大的潜力。A.不同深度学习工具社区流行度指标比较B.同深度学习工具社区参与度指标比较TensorFlow欢迎来到游乐场TensorFlow蓝色代表正值，黄色代表负值每组数据，都是不同形态分布的一群点。每一个点，都与生俱来了2个特征：x1和x2，表示点的位置数据Data游乐场中的数据十分灵活。我们可以调整noise（干扰）的大小，还可以改变训练数据和测试数据的比例多少TensorFlow特征提取Featureextraction从颜色就可以看出来，x_{1}左边是负，右边是正，x_{1}表示此点的横坐标值;同理，x_{2}表示此点的纵坐标值。x_{1}^{2}是关于横坐标值的“抛物线”信息.每一个点都有x1和x2两个特征。除此之外，由这两个特征还可以衍生出许多其他特征.我们的机器学习classifier（分类器）其实是在试图画一条或多条线,,当我们改变参数时，其实就是在将这条线左右移动第一张图中，如果x1作为我们的唯一特征，我们其实就是在画一条和x1轴垂直的线。TensorFlow连接线连接线表示权重，蓝色表示用神经元的原始输出，黄色表示用负输出。深浅表示权重的绝对值大小。当把x_{2}输出的一个权重改为-1时，x_{2}的形状直接倒置了，此时激活函数用的是liner当换成sigmoid时，没有黄色区域了。因为sigmoid的值域是(0,1)TensorFlow输出Output黄色背景颜色都被归为黄点类，蓝色背景颜色都被归为蓝点类。深浅表示可能性的强弱。在上面的分类分布图中你可以看到每一层通过上一层信息的组合所形成的。权重（那些连接线）控制了“如何组合”。选定特征之后，我们神经网络每一层的每一个神经元都将对它们进行组合，来进行计算，而下一层神经网络的神经元，会把这一层的输出再进行组合。组合时，根据上一次预测的准确性，我们会通过backpropogation给每个组合不同的weights（比重）。连接线越粗表示比重越大TensorFlowTest输入七个特征，选择一层神经网络，能够完美的分离黄色的点和蓝色的点即使只输入两个特征，通过增加神经网络的层数和神经元的个数，我们也能很快很完美的分离蓝色和黄色的点在分离黄蓝色的点的时候，提取特征不是难事，但是在我们处理的问题越来越复杂的时候，提取特征就不那么容易。但是我们的伟大神经网络能够有效的帮我们区分那些特征是有效的还是无效的。大大提高了我们解决复杂机器学习问题的能力。TensorFlow左侧是原始输入空间下的分类图，右侧是转换后的高维空间下的扭曲图。深层神经网络：为什么更深的网络会更加容易识别，增加容纳变异体（variation）（红苹果、绿苹果）的能力、鲁棒性（robust）1.数学视角：变异体（variation）很多的分类的任务需要高度非线性的分割曲线。2.物理视角：通过对“抽象概念”的判断来识别物体，而非细节。层数越深，这种概念就越抽象，所能涵盖的变异体就越多THANKYOU