深度学习综述2

深度学习1深度学习综述深度学习概述深度学习应用深度学习框架TensorFlow及其应用2深度学习概述深度学习概述深度学习的基本思想DeepLearning与NeutralNetwork深度学习训练过程3深度学习概述•深度学习深度学习概述4例如视觉感知的例子，从开始的传感器中获取数据，然后通过预处理，特征提取，特征选择，在到推理、预测或识别。最后一个部分就是机器学习的部分。中间的三部分就是特征表达。这部分主要靠人工提取特征。机器学习解决图像识别等问题的思路5深度学习：深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度神经网络：含有多个隐层的神经网络深度学习基本概念6人脑视觉机理深度学习基本概念7人脑视觉机理人的视觉机理的信息处理是分级的高层的特征是低层的组合，从低层到高层的特征越来越抽象，越来越能表现语义或意图抽象层面越高，存在的可能猜测就越少，就越利于分类。深度学习基本概念8深度学习的基本思想DeepLearning，我们需要自动地学习特征，假设我们有一堆输入I（如一堆图像或者文本），假设我们设计了一个系统S（有n层），我们通过调整系统中参数，使得它的输出仍然是输入I，那么我们就可以自动地获取得到输入I的一系列层次特征，即S1，…,Sn。对于深度学习来说，其思想就是对堆叠多个层，也就是说这一层的输出作为下一层的输入。通过这种方式，就可以实现对输入信息进行分级表达了。9DeepLearning与NeutralNetwork•深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习是无监督学习的一种。•深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。10DeepLearning与NeutralNetwork11深度学习的训练过程第一步：使用自下而上非监督学习从底层开始，一层一层的往顶层训练，采用无标定数据（有标定数据也可）分层训练各层参数。第二步：自顶向下的监督学习这一步就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调，基于第一步得到的各层参数进一步微调整个多层模型的参数，这一步是一个有监督训练过程。深度学习的第一步实质上是一个网络参数初始化过程。区别于传统神经网络初值随机初始化，深度学习模型是通过无监督学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果。12深度学习综述深度学习概述深度学习应用深度学习框架TensorFlow及其应用13深度学习应用在最近几年里，深度学习在语音识别、图像分类、文本理解等众多领域做出了巨大的贡献，逐渐形成了一种从训练数据出发，经过一个端到端（end-to-end）的模型，然后直接输出得到最终结果的一种新模型。深度学习让一些难得问题变得简单。14深度学习在农业方面的应用1）玉米籽粒完整性识别的深度学习方法[1]基于深度卷积神经网络的智能识别玉米籽粒完整性方法。本网络结合池化和降采样操作，基于卷积原理构建。通过对直接输入的灰度图像进行卷积操作，逐层挖掘图像的深层特征，实现对单玉米籽粒图像的特征抽象和特征降维，在通过一个全连接网络1516玉米籽粒完整性识别的深度学习方法下图为BP网络识别原理：玉米籽粒完整性识别的深度学习方法下图为CNN网络识别原理：CNN网络识别原理CNN网络直接以图像作为输入，这使得CNN网络受人工干预更少。卷积：通过卷积操作，CNN网络能自动抽象和提取图像的特征。降采样：是对输入图像进行降维，可通过池化和等间隔采样的图像缩小来实现。17玉米籽粒完整性识别的深度学习方法CNN网络的输入图像是基于单籽粒的图像，需要对多籽粒的图像进行分割和提取。1819玉米籽粒完整性识别的深度学习方法BP神经网络训练误差变化曲线BP神经网络训练结果如下所示：BP网络错误识别的样本使用456个测试样本对以训练好的BP神经网络进行测试，识别错误样本有128个，得到的识别率为71.93%。训练误差为0.122玉米籽粒完整性识别的深度学习方法经过3040个训练样本训练CNN深度网络，CNN训练误差的变化曲线如下所示：CNN训练误差变化曲线CNN深度网络达到的训练精度为91.76%。用456个测试样本对本网络进行测试，识别错误样本有17个，得到的精度为96.271%。CNN深度神经网路的识别准确率还挺高。20CNN网络错误识别的样本深度学习在农业方面的应用2）InferenceofPlantDiseasesfromLeafImagesthroughDeepLearning[2]本论文主要是通过深度学习方法来图像识别能自动诊断农作物病害。本论文使用了54306张有病害和健康的农作物叶片图片，经过深度卷积神经网络训练，精确的分成38种不同的农作物病害类型。21InferenceofPlantDiseasesfromLeafImagesthroughDeepLearning下面的图片来自于PlantVillage数据集的叶图像，代表每个农作物-病害。38种农作物病害叶片图片22InferenceofPlantDiseasesfromLeafImagesthroughDeepLearning训练的结果23InferenceofPlantDiseasesfromLeafImagesthroughDeepLearning24深度学习综述深度学习概述深度学习应用深度学习框架TensorFlow及其应用25深度学习框架•深度学习框架比较框架主语言从语言硬件分布式命令式运行速度跨平台CaffeC++Python/MatlabCPU/GPU××简单快速所有系统TorchLua-CPU/GPU/FPGA×√快速不支持WindowsTensorFlowC++PythonCPU/GPU/Mobile√×有点慢不支持WindowsTheanoPython-CPU/GPU/Mobile×√启动时间较长所有系统CNTKC++-CPU/GPU×√简单快速所有系统26深度学习框架一、Caffe卷积神经网络框架Caffe，全称ConvolutionArchitectureForFeatureExtraction。Caffe是一个清晰，可读性高，快速的深度学习框架。与TensorFlow一样，Caffe也是由C++开发，Caffe也是Google今年早些时候分布的DeepDream项目（可以识别喵星人的人工智能神经网络）的基础。二、TorchTorch是一个广泛支持机器学习算法的科学计算框架。易于使用且高效，主要是以为一个简单的和快速的脚本语言LuaJIT，和底层的C/CUDA实现。Torch核心是神经网络，它使用简单的优化库，同时具有最大的灵活性，实现复杂的神经网络的拓扑结构。27深度学习框架三、TensorFlow四、TheanoTheano是一个Python库，专门用于定义、优化、求值数学表达式，效率高，适用于多维数组。五、CNTKCNTK是微软公司研究深度学习和人工智能领域研究的成果ComputationalNetworkToolkit(CNTK)，CNTK是一个内置了多种神经模型的算法工具包，支持NDL，MDL网络定义语言。28深度学习综述深度学习概述深度学习应用深度学习框架TensorFlow及其应用29TensorFlowTensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，它的命名来源于本身的运行原理。Tensor(张量)意味着N维数组，Flow（流）意味着基于数据流图的计算，TensorFlow是张量从图像的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网络中进行分析和处理过程的系统。TensorFlow是一个采用数据流图，用于数值计算的开源软件库。301、高度的灵活性2、真正的可移植性3、多语言支持TensorFlow的特点31TensorFlow的可视化工具-tensorboard：通过使用这个工具可以很直观的看到整个神经网络的结构、框架。展示一个神经网络结构，如下一页。Tensorboard可视化32tensorboard33神经网络结构TensorFlow应用•澳大利亚海洋生物家使用TensorFlow在数以万计的高清照片中寻找海牛，以更好地了解这个濒临灭绝的群体数量•日本的一位农夫，训练的TensorFlow模型，按照大小、形状以及其他特征来进行黄瓜分类。•发射科医生调整TensorFlow，在医学扫描中能够识别帕金森病的迹象。•湾区的数据科学家在树莓派上使用TensorFlow来追踪加州火车的动态。34TensorFlow应用：黄瓜分类•Makoto是一名在家经营黄瓜农场的日本人，在黄瓜分类吃了很多苦头。同一个品种的黄瓜就有9种之多。一般来说，颜色鲜艳、刺多、体态匀称的才算是好瓜。然而当你刚摘了一根黄瓜，你得仔细观察它的长短、粗细、颜色、纹理、是否有小刮痕、弯的还是直的、刺多不多…要跟9类标准对应，看它属于哪一等级，但这不是一个容易学的工作。35TensorFlow应用：黄瓜分类机Makoto家9类黄瓜图表，由上至下质量依次递减Makoto通过黄瓜外形、长度和弯曲度来分拣识别。左图为Makoto家黄瓜分类图。36TensorFlow应用：黄瓜分类机•Makoto制作的黄瓜分类机工作场景：如果一根黄瓜属于某一个品类，小刷子就会把它推到相应的箱盒里。黄瓜分类机工作场景37TensorFlow应用：黄瓜分类机下图是Makoto设计的黄瓜分选机的系统图解。黄瓜分选机的系统图解38TensorFlow应用：黄瓜分类机Makoto面临两大挑战：第一大挑战：需要大量的训练数据。第二大挑战：消耗大量的运算容量。39[1]魏英姿，谭龙田，欧阳海飞，赵祉淇.玉米籽粒完整性识别的深度学习方法.沈阳理工大学学报[J].2016.36(4):1-6，智能识别单玉米籽粒完整性特征[2]SPMohanty,DHughes,MSalathe.InferenceofPlantDiseasesfromLeafImagesthroughDeepLearning.arXiv.org.11Apr2016参考文献4041