python人工智能课程

机器学习与深度学习实践声明Acknowledgments•假设参与此门课程的同学具有python基础及高等数学基础。•不要求有深刻的算法基础，但对于基本的数据结构和算法要有一定了解。•参考资料：取自于sklearn、tensorflow官方网站、斯坦福大学CS224d、CS231n课件、Github的部分代码仓库、部分来源于网络和搜索引擎，也有部分资料和代码是自行完成的。•参考书籍：《机器学习》、《统计学习方法》、《模式识别与机器学习》、《Hands-OnMachineLearningWithScikit-Learn&TensorFlow》等•课后如果有问题，欢迎联系交流Day1大纲•人工智能概述•人工智能中的数学基础•回归与分类•线性回归，Logistic回归，Softmax回归•决策树•多种决策树模型，Bagging，Boosting思想•朴素贝叶斯•自然语言处理，文本分类人工智能概述•从人工智能谈起•智能设备、聊天机器人、无人驾驶、机器人......•什么是人工智能？人工智能（ArtificialIntelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它试图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。•机器人•语音识别•图像识别•自然语言处理•专家系统•知识工程•机器学习人工智能是对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样的思考，甚至超过人的智能。弱人工智能、强人工智能、超人工智能•弱人工智能ArtificialNarrowIntelligence(ANI):弱人工智能是擅长于单个方面的人工智能。•强人工智能ArtificialGeneralIntelligence(AGI):人类级别的人工智能。强人工智能是指在各方面都能喝人类比肩的人工智能，人类能干的脑力活它都能干。•超人工智能ArtificialSuperIntelligence(ASI):知名人工智能思想家NickBostrom把超级智能定义为”在几乎所有领域都比最聪明的人类大脑都聪明很多，包括科学创新、通识和社交技能“。图灵测试•人工智能的历史•1956年夏天：达特茅斯会议，提出“人工智能“•20世纪60年代：感知机•20世纪70年代：专家系统、知识工程•20世纪80年代：日本第五代机•20世纪90年代：统计机器学习•2006年：深度学习•2012年：卷积神经网络•...•人工智能的历史AI发展现状？•机器是否具有真正的智能人眼中的图像•机器是否具有真正的智能计算机眼中的图像目前只能实现感知智能，尚无法实现推理智能•举个例子•还有很长的路要走•计算机无法真正理解符号、数字背后的语义•所有的行为都是在“猜”•图像、语音：原始信息，感知智能•语言、艺术：人工信息，推理智能•学习方法•打好机器学习基础•学会原理、注重联系•动手实践•分析数据，提升google机器学习教程：机器学习、深度学习等课程准备工作•安装anaconda3并配置pycharm•安装sklearn/numpy/pandas/matplotlib/xgboost•安装pycharm，并设置python解释器路径•编写hello，world并成功执行人工智能中的数学基础•数学分析•映射与函数•极限•导数导数是曲线的斜率，是曲线变化快慢的反应；可导一定连续，反之不然思考：极值如何求解？•数学分析•常用函数求导公式动手实践(2)：求sigmoid函数导数•数学分析•泰勒展开式•常用函数的泰勒展开)()(!)('f...)(!2)(''f)(!1)('f)()(f00200000xOnnxxnxxxxxxxxfx)∞x∞(-(x)O+1)!-(2kx*(-1)...-5x+3x-x=sin(x)n1)-(2k1)-(k53！！nn32xO+n!x...3x+2xx1=e！！在某邻域内，存在一阶近似、二阶近似、....逼近非线性函数求解•数学分析•梯度下降法练习：使用梯度下降法求解y=x2思考：什么情况下有全局最优解？10J(0,1)01J(0,1)•数学分析•练习sgd.py运行平方函数→平方函数的导数→•数学分析•练习sgd.py运行GD_decay：x_start-初始位置df-平方函数epochs-迭代次数lr-学习率decay-学习率衰减系数循环：迭代计算下一次x的位置•数学分析首先生成基础采样点给后面使用做了双重验证并绘制图像•数学分析•梯度下降法xt+1=xt-af'(xt)”最快”过于盲目、有缺陷进一步利用曲线二阶导的信息进行迭代求解，称为牛顿法xt+1=xt-f'(xt)/f''(xt)•数学分析•多元函数的导数如何表达？•多元函数的梯度呢？•多元函数的二阶导是什么？f(x)=f(x1,x2,...)一阶(偏)导数：f'x1(x1,x2...),f'x2(x1,x2...),...，它们的线性加和称为方向导数hessian矩阵G...+)(21)f(x)f(x=f(x))0(T(0)(0)xxHxxT•数学分析•总结变量、函数求导规则、泰勒展开式YanLeCun：可微分式编程•线性代数•线性变换指旋转、推移，他们的组合是线性变换•为什么研究线性变换•线性代数•矩阵和乘法yyAx1001x1001yAxyyA2x1002x1002xy0110x0110yA矩阵的本质：线性变换！什么情况下矩阵乘法是旋转矩阵呢？•线性代数•矩阵仅对角线有非零值的矩阵为缩放矩阵，对角线元素代表了每个维度的缩放强度列向量正交且为单位向量的矩阵，也即正交阵为旋转矩阵yxyxyxyyxxyxcossinsincos''cossin)sincoscos(sinpo)sin(po'sincos)sinsincos(cospo)cos(po'sinpo;cospo思考：这两个矩阵的现实意义？•线性代数•分离技术-特征值分解2112222222221003222222222112非常重要且广泛的应用包括：控制系统推荐系统文本相似度处理图像压缩...•线性代数•分离技术-svd/NFM分解useritem•线性代数•再看特征值分解•相似矩阵1-PPA思考：(1)变换与逆矩阵(2)什么情况下有逆矩阵(3)P与P的逆乘积•线性代数•行列式4321bbbbB4231**bbbbB333231232221131211cccccccccCccc-ccc-ccc-ccccccccc332112322311312213322113312312332211C考察单位阵、旋转阵行列式的本质：线性变换的缩放因子变换是否降维(秩)nnkkkkaaaD...)1-(2121•线性代数•总结矩阵==线性变换特征值==缩放强度行列式==缩放强度•概率论•概率与直观不断抛掷一枚硬币，得到正面与反面的频率比例是多少呢？经过无数次抛掷，频率的极限趋近于X?抛掷趋于无穷次时，正反面频率一致，根据大数定理•概率论•概率的计算•已知A、B独立时)(1)(APAP)(*)()(BPAPBAP)(*)(-)()()(BPAPBPAPBAP•概率论•条件概率•全概率公式•贝叶斯公式)(*)|(),(BPBAPBAPiiiBPBAPAP)(*)|()(jjjiiiBPBAPBPBAPABP)()|()(*)|()|(练习：小明有8支步枪，其中有5支校准过。校准过的枪支击准靶心的概率为0.8，没有校准过的枪支击准靶心的概率为0.3，现小明随机的选一支枪，结果中靶，问该枪已被校准的概率。•概率论•根据贝叶斯公式?)|(8.0)|(2.0)|(3.0)|(7.0)|(8/5)(8/3)(111110010010AGPGAPGAPGAPGAPGPGP，，，8163.08/3*3.08/5*8.08/5*8.0)()|()(*)|()|(111111jjjGPGAPGPGAPAGP•概率论•重温贝叶斯公式)()(*)|()|(APBPBAPABP)()()|(jAPBPBAPjj强调：这是一个非常重要的公式，记住它，基本就掌握了机器学习一半的内容jjjiiiBPBAPBPBAPABP)()|()(*)|()|(•概率论•期望与方差iiixpxE)(dxxfxpxE)()()(E(x)表征了数据的加权平均值，D(x)表征了数据的波动程度)()x()(22xEExD•概率论•变量的分布有一类试验，比如抛掷硬币得到正面还是反面，项目成功或失败，产品是否有缺陷，只有两个可能结果。记这两个可能的结果为0和1，该分布就称为伯努利分布。pqpppXEXEXDpqpXE22222)1(01))(()()(01)(•概率论•变量的分布伯努利分布重复N次，就构成了二项分布。排列、组合数公式复习：袋子中有五个标号的小球，每次从中抽取一个，抽取三次，得到的排列方式有多少种呢？袋子中有五个标号的小球，每次抽取一个，抽取三次，不考虑球之间的顺序，得到的编号组合有多少种呢？)!(!3*4*535nmmAAnm!)!(!1*2*33*4*535nnmmCCnmiiknkknpnpXiDXDnpXiEXEnkppCkX)1()()()()(,..1,0,)1(}{p，•概率论•变量的分布高斯分布，服从中心极限定律，是非常重要的分布。xexux,0,21)(f222)(•概率论•练习multi_guassian.py•概率论•熵世界杯比赛有32支球队参加，最少用多少bit信息表示出最后获胜的队伍？)(ln)(xpxpS•总结•人工智能中的数学并不难，关键是掌握常用的思维方式•练习推导，理解数学表达式所蕴含的现实意义机器学习实践机器学习实践•机器学习基础理论和概念•机器学习基本方法•项目实战分析•机器学习基础•机器学习主要是研究如何使计算机从给定数据中学习规律，并利用学习到的规律(模型)来对未知或无法观测的数据进行预测。•机器学习基础•从学习方式上讲，分为：•监督学习•无监督学习•半监督学习•强化学习•从学习结果上讲，分为：•回归•分类强调：目前主流学习技术是监督学习，半监督学习和强化学习在通用场景下还不是特别的work•机器学习基础•从学习方式上讲，分为：•监督学习•无监督学习•半监督学习•强化学习•从学习结果上讲，分为：•回归•分类强调：目前主流学习技术是监督学习，半监督学习和强化学习在通用场景下还不是特别的work•线性回归•线性回归是最基础的回归算法train0123456789x0123456789y24.6-24.012.2-55.9-57.816.5-7.9-17.3-23.187.4思考：x与y符合什么关系呢？观察到x与y的关系（模型选择），y=ax+b，建立线性回归模型通过优化方法设法拟合数据，得到最优的a评估该模型是否准确，查看训练集上的准确率评估该模型的泛化性能，在测试集上的准确率•线性回归基本概念•训练集•测试集(交叉验证法、自助法等)•目标函数•损失函数•优化方法•拟合、过拟合•准确率、泛化性能