机器学习教学大纲

《机器学习》教学大纲英语名称：MachineLearning开课学期：第二学年一学期总学时数：54学时一、教学对象本大纲适应于综合大学计算机科学与技术专业研究生二、教学目的自从计算机被发明以来，人们就想知道它们能不能学习。如果我们理解了计算机学习的内在机制，即怎样使它们根据经验来自动提高，那么影响将是空前的。目前，我们还不知道怎样使计算机的学习能力和人类相媲美。同时机器学习从本质上又是一个多学科的领域。它吸取了人工智能、概率统计、计算复杂性理论、控制论、信息论、哲学、生理学、神经生物学等学科的成果。但是一些针对特定学习任务的算法已经产生。关于学习的理论认识已开始逐步形成。人们开发出了很多实践性的计算机程序来实现不同类型的学习，一些商业化的应用也已经出现。本课主要针对机器学习这个领域，重点介绍机器学习中的核心算法和理论，具体描述了多种学习范型、算法、理论以及应用。三、教学要求教学内容本着少而精的原则，突出重点，深入浅出，在重视基础理论的同时，注意培养学生独立思考的能力，同时注意引导学生用学到的理论来解决本方向中的一些实际的问题，达到为研究生开设这门课的意义和目的。四、主要教学内容本课程的讲授分为8章（一）绪论（4学时）机器学习的一般原理及相关概念学习问题的标准描述设计一个学习系统选择训练方式选择目标函数选择目标函数的表示选择函数逼近算法最终的设计（二）概念学习和一般到特殊序（4学时）概念学习的定义和基本方法概念学习的任务和基本术语（实例，目标概念，训练样例，正例，反例，假设）归纳学习的方法。搜索的概念学习。假设的一般到特殊序Find-S算法：寻找极大特殊假设。变型空间和候选消除算法学习结果的评价。（三）决策树学习（6学时）决策树学习的基本原理、算法和表示法。属性选择度量标准的基本原理。基本的决策树学习算法ID3决策树学习中的假设空间搜索决策树学习的归纳偏置决策树学习的常见问题(过度拟合,连续值属性等)和常用的处理方法（修剪，定义新的离散值属性等）（四）人工神经网络（6学时）神经网络的基本原理和表示方法。感知器的基本原理和训练法则（梯度下降和delta法则）的基本原理反向传播算法（BP）和训练法则。反向传播算法的其它问题：收敛性、局部极小值等。（五）评估假设（3学时）对假设的精度进行经验的评估是机器学习中的基本问题。它包含估计假设精度（样本错误率、真实错误率、置信区间等）采样理论基础和方法学习方法的比较（六）贝叶斯学习（6学时）贝叶斯公式的基本原理、先验概率，后验概率的概念。Brute-Force贝叶斯概念学习的基本原理和贝叶斯法则的应用MAP假设和一致学习器极大似然、最小描述长度准则和最小误差平方假设原理和应用贝叶斯最优分类器原理和算法朴素贝叶斯分类器算法和它在文本分类中的应用EM算法的原理、实现和应用（七）计算学习理论（3学时）本章从理论上刻画了若干类型的机器学习问题中的困难，和若干类型的机器学习算法的能力。基本内容包含：样本复杂度（Samplecomplexity）、计算复杂度(Computationalcomplexity)和出错界限（Mistakebound）。可能学习近似正确假设：假设的错误率、PAC可学习性有限假设空间的样本复杂度无限假设空间的样本复杂度VC维（八）基于实例的学习（3学时）基于实例的学习基本原理k-近邻法算法及实现距离加权最近邻算法（九）增强学习（3学时）增强学习基本原理：一个能够感知环境的自治agent，怎样学习选择能达到其目标的最优动作。学习的任务：获得一个控制策略，以选择能达到目的的行为。Q-学习算法的原理和实现其它问题：Q函数的设计、算法的收敛性、实验策略等四、考核本课程种类考查课，可采取期末书面考查或论文撰写等形式。五、实践环节（16学时）实验内容：利用java语言进行编程设计实现下面的算法决策树算法的设计与实现人工神经网络（BP算法的设计和实现）贝叶斯分类器的设计与实现K-近邻算法的设计与实现Q（增强）学习算法的设计与实现专题讨论（书面或口头形式）六、教科书《Machinelearning》TOMM.MITCHELL机械工业出版社