深度学习和增强学习概述2018

获取数据分析数据构建模型预测未来人类使用数据的一般流程天文学的起源和发展历程，清晰表明数据在人类发展过程中所产生的巨大作用尼罗河畔的文明（古埃及人）•洪水退去后留下肥沃的土地•观察天象，预测洪水到来和退去时间及其大小，开创天文学•根据天狼星和太阳同时出现的位置，判定农耕时间和节气推测出：365*4+1=1461天，作为一个周期美索不达米亚文明（苏美尔人）•观察发现月亮每隔28-29天，完成从新月到满月再回到新月的周期•同时，观察到每年有四季之分，每过12-13个月亮周期，太阳就回到原来位置•发明了太阴历古代历法，本质上是对天文现象的一个数据化描述2开普勒关于行星运动的三大定律，形式简单，描述准确但他并不理解其内涵100多年的观测数据托勒密用40-60个小园套大圆的方法，精确计算出了所有行星运动的轨迹牛顿第二定律和万有引力定律把行星运动归结成一个纯粹的数学问题，即一个常微分方程组。牛顿运用的是寻求基本原理的方法，远比开普勒的方法深刻。知其然，且知其所以然。y=-kx3经典定义：利用经验来改善计算机系统的性能AcomputerprogramissaidtolearnfromexperienceEwithrespecttosomeclassoftasksTandperformancemeasureP,ititsperformanceattasksinTasmeasuredbyP,improveswithexperience.—T.Mitchell(CMU)经验：在计算机系统中，即为数据（集）主要目标：预测未知、理解系统机器学习是人工智能的一个重要分支，是实现智能化的关键通常解决一些人为设计和使用确定性程序很难解决的问题；提高对机器学习的认识，将提高我们自身对智能背后原理的理解。因此受到极大关注。419561974198019931987AI诞生STAGE1：推理期LogicInferenceSTAGE2：知识期KnowledgeEngineeringSTAGE3：学习期MachineLearning技术进步应用突破第一次寒冬对AI发展丧失信心，研究经费大大减少第二次寒冬缺少AI的实际应用，研究经费大大减少出现了第一个机器人和智能软件•专家系统的研发•神经网络的突破•大数据•深度学习、强化学习1957年•提出Perceptron1970年代初•结构化的学习系统•基于逻辑的推理系统1986年•BP算法•多层神经网络1995年•AdaBoost算法•SVM算法2006年•深度神经网络（DNN）2013年•DNN在图像和声音识别取得突破•统计学习(传统机器学习)1961年第一台工业机器人Unimation，在通用电气公司应用1973年世界第一个人形机器人Wabot-1，诞生于早稻田大学1980年专家系统XCON，由CMU研发，并用于DEC公司1997年IBM的DeepBlue战胜国际象棋大师加里·卡斯帕罗夫2006年智能可编程类人机器人NAO面世•Apple：Siri•Google：无人驾驶车，AlphaGo•IBM：Waston•大量日常的AI机器人出现•……52008年美国总统大选奥巴马竞选团队的数据分析师构建一个庞大的数据分析系统，将民意调查员、筹款人、现场工作人员、消费者数据库、社交媒体、移动通信用户与摇摆州的民主党选民档案合并在一起，帮助奥巴马筹集了10亿美元的选举资金构建摇摆州的选民画像，分析选民意图，预测哪些类型的选民会被某种类型的政策因素所说服实时监控选民的意向改变情况，调整选举模拟模型对选举电视广告进行精确投放Theyareournuclearcodes!6DARPAGrandchallenge2005:搭建一个能在10个小时内，自主航行并穿越175英里沙漠地区的机器人获胜者：Stanford的“Stanley”赛车实际所用时间为6小时54分钟。力压卡内基梅隆的两辆改装悍马形成目前无人驾驶行业完整产业链的“原点“。随后自动驾驶算法、激光雷达、高精地图、芯片提供解决方案的初创公司纷纷涌现。7NetflixPrize:根据用户的行为偏好，预测用户对某部影片的评分数据集:480,189名不同的用户对17,770部电影给出的100,480,507个打分结果（1-5分）奖金:基于Netflix的Cinematch系统，获得10%的效果提升就能赢得1百万美元数据：抽取规则：9市场零售：市场购物篮分析、客户关系管理金融领域：信用评级（评分）、欺诈检测制造领域：问题优化、智能诊断医疗领域：疾病诊断、治疗路径选择通讯领域：服务质量的优化、路由选择生物信息领域：基因测序、对齐……10分类（Classification）：𝑓:𝑅𝑁→1,…,𝑘垃圾邮件过滤，人脸识别，情感分析…回归（Regression）：𝑓:𝑅𝑁→𝑅机器翻译(MachineTranslation)：𝑓:Sequence→Sequence排序（Ranking)搜索引擎、产品推荐异常检测(AnomalyDetection)密度估计或概率质量函数估计…..11监督学习：从有标记的训练数据中推断预测函数。即，给定数据，预测标签分类、回归无监督学习：从无标记的数据中推断结论。即，给定数据，寻找隐藏结构聚类、异常检测增强学习：如何在给定环境中采取行动以便获得回大化回报。即，给定条件，学习选择一系列行动，最大化长期收益棋牌类游戏12收集、预处理数据CollectingData模型（Model）未知数据UnknownData预测(Prediction)学习Learning应用Application𝒚=𝑓(𝒙；𝜽)数据类型结构化数据：通常以关系表表示和存储非结构化数据：图像、声音、视频、文本…数据使用：训练集、验证集、测试集模型的选择模型的优化（参数）模型的评估13数据集（DataSet）假设空间（HypotheticalSpace）所有可能的能满足样本输入和输出的假设函数h(x)的集合学习的模型是从一个限定的假设空间里进行选取，而不是凭空选择的归纳偏好（InductiveBias）根据训练数据，从假设空间中选出最佳的一个假设奥卡姆剃刀原理、没有免费的午餐定理例：用三个特征描述西瓜（色泽、根蒂、声响），基于这3个特征获得10万条记录，其中一条取值：色泽=光亮、根蒂=坚硬、声响=清亮记录到.csv文件或者数据库中，可以得到一个二维数组，行数为10万（记录），列数为3（特征）例：假设以上三个西瓜特征，每个特征有三种可能取值，那么该假设空间的大小为4*4*4+1=65（其中，4=3+1，表示不考虑该特征的情形）14损失函数（LossFunction）用来近似衡量模型好坏的一个很重要的指标，损失函数的值越大说明模型预测误差越大，所以我们要做的就是不断更新模型的参数，使得损失函数的值最小𝐿𝑦,𝑓𝑥=0,𝑦=𝑓(𝑥)1,𝑦≠𝑓(𝑥)优化策略（OptimizationStrategy）根据损失值不断更新模型参数的函数，作用是在参数空间中找到损失函数的最优解梯度下降法是最熟知的损失函数15泛化能力（GeneralizationAbility）机器学习模型对未知数据的预测能力欠拟合：模型复杂度太低，使得模型能表达的泛化能力不够，对测试样本和训练样本都没有很好的预测性能过拟合：模型复杂度太高，使得模型对训练样本有很好的预测性能，但是对测试样本的预测性能很差误差、偏差和方差误差反映整个模型的准确度偏差反映模型在样本上的输出和真实值的误差方差反映模型每一次输出结果与模型输出期望之间的误差新叶训练样本新样本过拟合模型分类结果：不是树叶（误以为树叶必须有锯齿）欠拟合模型分类结果：是树叶（误以为绿色的都是树叶）损失函数加正则化项可以缓解过拟合现象，如L2正则项：𝐸=𝛽2{𝑦(𝑥𝑛,𝑤−𝑡𝑛)}2+𝛼2𝑤𝑇𝑤𝑁𝑛=116符号主义（Symbolists）认知即计算，通过对符号的演绎和逆演绎进行结果预测代表算法：逆演绎算法（Inversededuction）代表应用：知识图谱联结主义（Connectionist）对大脑进行仿真代表算法：反向传播算法（Backpropagation）、深度学习（Deeplearning）代表应用：机器视觉、语音识别行为主义（Analogizer）新旧知识间的相似性代表算法：核机器（Kernelmachines）、近邻算法（NearestNeightor）代表应用：Netflix推荐系统17例：知识库人工智能机器学习表示学习深度学习例：逻辑回归例：浅层自动编码器例：多层感知机1820美国心理学家McCulloch和数学家Pitts，提出的模拟人类神经元网络进行信息处理的数学模型神经元的特点：多输入单输出；突触(传递神经冲动的地方)兼有兴奋和抑制两种性能；能时间加权和空间加权；可产生脉冲；脉冲进行传递；非线性简单的线性加权的方式来模拟这个过程，其中I为输入，W为权重，加权的和经过一个阈值函数后作为输出。沃伦·麦卡洛克(1898-1969)瓦尔特·皮茨(1923-1969)21在1949年出版的《行为的组织》中，赫布提出了其神经心理学理论Hebb假设：当细胞A的轴突到细胞B的距离近到足够激励它，且反复地或持续地刺激B，那么在这两个细胞或一个细胞中将会发生某种增长过程或代谢反应，增加A对细胞B的刺激效果唐纳德·赫布（1904-1985）221958年，第一次将M-P模型用于对输入的多维数据进行二分类，使用梯度下降法从训练样本中自动学习更新权值1962年，该方法被证明最终收敛，理论与实践效果引起第一次神经网络的浪潮FrankRosenblatt(1928-1971)231969年，美国数学家及人工智能先驱Minsky和Papert，在其著作中证明了感知器本质上是一种线性模型无法解决最简单的XOR（亦或）问题，“线性不可分的问题”宣判了感知器的死刑，神经网络的研究也陷入了10余年的停滞（进入第一个寒冬！）241986年，Rumelhart，Hilton等人发明了适用于多层感知器（Multi-LayerPerceptron，MLP）和误差反向传播算法（BackPropagation，BP）算法，并采用Sigmoid函数进行非线性映射，有效解决了非线性分类和学习的问题1989年，RobertHecht-Nielsen证明了MLP的万能逼近定理，即对于任何闭区间内的一个连续函数f，都可以用含有一个隐含层的BP网络来逼近该定理的发现极大的鼓舞了神经网络的研究人员1989年，LeCun发明了卷积神经网络-LeNet，并将其用于数字识别，且取得了较好的成绩，不过当时并没有引起足够的注意LeNet25在1989年以后由于没有特别突出的方法被提出，且NN一直缺少相应的严格的数学理论支持，神经网络热潮退去第二次寒冬来自于1991年，BP算法被指出存在梯度消失问题，即在误差梯度后向传递的过程中，后层梯度以乘性方式叠加到前层，由于Sigmoid函数的饱和特性，后层梯度本来就小，误差梯度传到前层时几乎为0，因此无法对前层进行有效的学习，该发现对此时的NN发展雪上加霜1997年，LSTM模型被发明，尽管该模型在序列建模上的特性非常突出，但由于正处于NN的下坡期，也没有引起足够的重视LSTM261986年，ID3，ID4，CART等改进的决策树方法相继出现，到目前仍然是非常常用的一种机器学习方法。该方法也是符号学习方法的代表1995年，SVM被统计学家V.Vapnik和C.Cortes发明了SVM提出。该方法的特点有两个：由非常完美的数学理论推导而来（统计学与凸优化等），符合人的直观感受（最大间隔）。不过，最重要的还是该方法在线性分类的问题上取得了当时最好的成绩1997年，AdaBoost被提出，该方法是PA