深度学习系列讲座一：深度学习简介

深度学习概述深度学习系列讲座一：深度学习1.概述、背景2.人脑视觉机理、关于特征3.DeepLearning基本思想、浅层学习4.深度学习与神经网络（NeuralNetwork）5.DL的总结人工智能、机器学习、深度学习关系人工智能（ARTIFICIALINTELLIGENCE）——为机器赋予人的智能机器学习——一种实现人工智能的方法，使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。深度学习——一种实现机器学习的技术，深度学习使得机器学习能够实现众多的应用，并拓展了人工智能的领域范围。概述ArtificialIntelligence（人工智能）是人类最美好的梦想之一。图灵（计算机和人工智能的鼻祖）在1950年的论文里，提出图灵试验的设想，即，隔墙对话，你将不知道与你谈话的，是人还是电脑。这无疑给计算机，尤其是人工智能，预设了一个很高的期望值。半个世纪过去了，人工智能的进展，远远没有达到图灵试验的标准。这不仅让多年翘首以待的人们，心灰意冷，认为人工智能是忽悠，相关领域是“伪科学”。自2006年以来，机器学习领域，取得了突破性的进展。图灵试验，至少不是那么可望而不可及了。至于技术手段，不仅仅依赖于云计算对大数据的并行处理能力，而且依赖于算法。这个算法就是，DeepLearning。借助于DeepLearning算法，人类终于找到了如何处理“抽象概念”这个亘古难题的方法。概述2012年6月，《纽约时报》披露了GoogleBrain项目，吸引了公众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授AndrewNg和在大规模计算机系统方面的世界顶尖专家JeffDean共同主导，用16000个CPUCore的并行计算平台训练一种称为“深度神经网络”（DNN，DeepNeuralNetworks）的机器学习模型（内部共有10亿个节点。这一网络自然是不能跟人类的神经网络相提并论的。要知道，人脑中可是有150多亿个神经元，互相连接的节点也就是突触数更是如银河沙数。曾经有人估算过，如果将一个人的大脑中所有神经细胞的轴突和树突依次连接起来，并拉成一根直线，可从地球连到月亮，再从月亮返回地球），在语音识别和图像识别等领域获得了巨大的成功。概述2012年11月，微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译和中文语音合成，效果非常流畅。据报道，后面支撑的关键技术也是深度学习。2013年1月，在百度年会上，创始人兼CEO李彦宏高调宣布要成立百度研究院，其中第一个成立的就是“深度学习研究所”。2013年3月谷歌收购了加拿大神经网络方面的创业公司DNNresearch，DNNresearch公司是由多伦多大学教授GeoffreyHinton与他的两个研究生AlexKrizhevsky和IlyaSutskever于去年成立，由于谷歌在本次收购中没有获得任何实际的产品或服务，所以本次收购实质上属于人才性收购，收购的主体实为了这三人团队。概述2016年3月，AlphaGo打败围棋世界冠军李世石，AlphaGo是由GoogleDeepMind开发的人工智能围棋程序，具有自我学习能力。它的主要工作原理就是深度学习。2017年10月，Deepmind宣告最新版本的人工智能AI面世，这款新版本叫阿尔法零（AlphaGoZero）。阿尔法零（AlphaGoZero）完全不依赖于人类数据，自学三天围棋，对阵AlphaGo竟然能取得100比0的战绩。为什么拥有大数据的互联网公司争相投入大量资源研发深度学习技术？为什么深度学习这么火？背景机器学习（MachineLearning）是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。机器能否像人类一样能具有学习能力呢？1959年美国的塞缪尔(Samuel)设计了一个下棋程序，这个程序具有学习能力，它可以在不断的对弈中改善自己的棋艺。4年后，这个程序战胜了设计者本人。又过了3年，这个程序战胜了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展示了机器学习的能力，提出了许多令人深思的社会问题与哲学问题背景在图像识别、语音识别、天气预测、基因表达等方面。目前我们通过机器学习去解决这些问题的思路都是这样的：•从开始的通过传感器来获得数据。然后经过预处理、特征提取、特征选择，再到推理、预测或者识别。最后一个部分，也就是机器学习的部分，绝大部分的工作是在这方面做的。•中间的三部分，概括起来就是特征表达。良好的特征表达，对最终算法的准确性起了非常关键的作用，而且系统主要的计算和测试工作都耗在这一大部分。但这块实际中一般都是人工完成的。背景好的特征应具有不变性（大小、尺度和旋转等）和可区分性：例如Sift（尺度不变特征转换）的出现，是局部图像特征描述子研究领域一项里程碑式的工作。由于SIFT对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性，并且SIFT具有很强的可区分性。背景手工地选取特征是一件非常费力、启发式（需要专业知识）的方法，而且它的调节需要大量的时间。既然手工选取特征不太好，那么能不能自动地学习一些特征呢？答案是能！DeepLearning就是用来干这个事情的，看它的一个别名UnsupervisedFeatureLearning（无监督特征学习），就可以顾名思义了，Unsupervised的意思就是不要人参与特征的选取过程。那它是怎么学习的呢？怎么知道哪些特征好哪些不好呢？我们说机器学习是一门专门研究计算机怎样模拟或实现人类的学习行为的学科。好，那我们人的视觉系统是怎么工作的呢？人脑视觉机理例如，从原始信号摄入开始（瞳孔摄入像素Pixels），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的形状，是圆形的），然后进一步抽象（大脑进一步判定该物体是只气球）。人脑视觉机理这个生理学的发现，促成了计算机人工智能，在四十年后的突破性发展。总的来说，人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形状或者目标的部分等，再到更高层，整个目标、目标的行为等。也就是说高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图。而抽象层面越高，存在的可能猜测就越少，就越利于分类。人脑视觉机理这个生理学的发现，促成了计算机人工智能，在四十年后的突破性发展。总的来说，人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形状或者目标的部分等，再到更高层，整个目标、目标的行为等。也就是说高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图。而抽象层面越高，存在的可能猜测就越少，就越利于分类。人脑视觉机理提到了关键词：分层。而Deeplearning的deep是不是就表示我存在多少层，也就是多深呢？没错。那Deeplearning是如何借鉴这个过程的呢？毕竟是归于计算机来处理，面对的一个问题就是怎么对这个过程建模？因为我们要学习的是特征的表达，那么关于特征，或者说关于这个层级特征，我们需要了解地更深入点。所以在说DeepLearning之前，我们有必要再啰嗦下特征。关于特征特征是机器学习系统的原材料，对最终模型的影响是毋庸置疑的。如果数据被很好的表达成了特征，通常线性模型就能达到满意的精度。那对于特征，我们需要考虑什么呢？1、特征表示的粒度学习算法在一个什么粒度上的特征表示，才有能发挥作用？就一个图片来说，像素级的特征根本没有价值。例如下面的摩托车，从像素级别，根本得不到任何信息，其无法进行摩托车和非摩托车的区分。而如果特征是一个具有结构性的时候，比如是否具有车把手（handle），是否具有车轮（wheel），就很容易把摩托车和非摩托车区分，学习算法才能发挥作用。2、初级（浅层）特征表示既然像素级的特征表示方法没有作用，那怎样的表示才有用呢？1995年前后，DavidField试图同时用生理学和计算机的手段，双管齐下，研究视觉问题。他们收集了很多黑白风景照片，从这些照片中，提取出400个小碎片，每个照片碎片的尺寸均为16x16像素，不妨把这400个碎片标记为S[i],i=0,..399。接下来，再从这些黑白风景照片中，随机提取另一个碎片，尺寸也是16x16像素，不妨把这个碎片标记为T。他们提出的问题是，如何从这400个碎片中，选取一组碎片，S[k],通过叠加的办法，合成出一个新的碎片，而这个新的碎片，应当与随机选择的目标碎片T，尽可能相似，同时，S[k]的数量尽可能少。用数学的语言来描述，就是：Sum_k(a[k]*S[k])--T,其中a[k]是在叠加碎片S[k]时的权重系数。2、初级（浅层）特征表示为解决这个问题，DavidField发明了一个算法，稀疏编码（SparseCoding）。稀疏编码是一个重复迭代的过程，每次迭代分两步：1）选择一组S[k]，然后调整a[k]，使得Sum_k(a[k]*S[k])最接近T。2）固定住a[k]，在400个碎片中，选择其它更合适的碎片S’[k]，替代原先的S[k]，使得Sum_k(a[k]*S’[k])最接近T。经过几次迭代后，最佳的S[k]组合，被遴选出来了。令人惊奇的是，被选中的S[k]，基本上都是照片上不同物体的边缘线，这些线段形状相似，区别在于方向。2、初级（浅层）特征表示也就是说，复杂图形，往往由一些基本结构组成。比如下图：一个图可以通过用64种正交的edges（可以理解成正交的基本结构）来线性表示。比如样例的x可以用1-64个edges中的三个按照0.8,0.3,0.5的权重调和而成。而其他基本edge没有贡献，因此均为02、初级（浅层）特征表示另外，人们还发现，不仅图像存在这个规律，声音也存在。他们从未标注的声音中发现了20种基本的声音结构，其余的声音可以由这20种基本结构合成。（同声传译的秘诀之一）3、结构性特征表示小块的图形可以由基本edge构成，更结构化，更复杂的，具有概念性的图形如何表示呢？这就需要更高层次的特征表示，比如V2，V4。因此V1看像素级是像素级。V2看V1是像素级，这个是层次递进的，高层表达由底层表达的组合而成。专业点说就是基。V1取提出的基是边缘，然后V2层是V1层这些基的组合，这时候V2区得到的又是高一层的基。即上一层的基组合的结果，上上层又是上一层的组合basis……（HHT有类似之处）3、结构性特征表示直观上说，就是找到有意义的小碎片再将其进行组合，就得到了上一层的特征，递归地向上学习特征。3、结构性特征表示在不同物体上做训练时，所得的edgebasis是非常相似的，但物体组成部分和模型就会完全不同（那咱们分辨汽车或者人脸是不是容易多了）：4、需要有多少个特征？我们知道需要层次的特征构建，由浅入深，但每一层该有多少个特征呢？任何一种方法，特征越多，给出的参考信息就越多，准确性会得到提升。但特征多意味着计算复杂，探索的空间大，可以用来训练的数据在每个特征上就会稀疏，都会带来各种问题，并不一定特征越多越好。好了，到了这一步，终于可以聊到DeepLearning了。上面我们聊到为什么会有DeepLearning（让机器自动学习良好的特征，而免去人工选取过程。还有参考人的分层视觉处理系统），我们得到一个结论就是DeepLearning需要多层来获得更抽象的特征表达。那么多少层才合适呢？用什么架构来建模呢？怎么进行非监督训练呢？DeepLearning基本思想假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为：I=S1=S2=…..=Sn=O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失，当然这是不可能的。信息论中有个“信息逐层丢失”的说法（信息处理不等式）。当然了，如果丢掉的是没用的信息，