《机器学习》教学大纲

-1-《机器学习》教学大纲课程编号：CE6012课程名称：机器学习英文名称：MachineLearing学分/学时：2/24+16（实验）课程性质：选修课适用专业：信息安全/网络空间安全/网络工程建议开设学期：7先修课程：高等数学线性代数概率论matlab等开课单位：网络与信息安全学院一、课程的教学目标与任务本课程是我院信息安全专业，网络空间安全专业的专业选修课。本课程的教学将介绍机器学习、数据挖掘与统计模式识别的知识。介绍相关领域的基础概念与发展过程；研究不同种类的机器学习算法，包括：(i)监督学习（参数/非参数算法、支持向量机、内核、神经网络）。(ii)非监督学习（聚类、降维、推荐系统、深度学习）。介绍机器学习的优秀案例（偏差/方差理论；）课程将拮取案例研究与应用，学习如何将学习算法应用到文字理解（网页搜索，防垃圾邮件）、计算机视觉（图片提取文字信息）、医学信息学、音频、数据挖掘及其他领域上。本课程注重理论教学与实验的结合，注重学生实践能力的培养，单独设立实验上机来巩固学生对于不同机器学习算法的理解，通过实验锻炼学生对于建立机器学习模型在各个环节上的动手能力，实验还将以目前比较常见的机器学习应用为实例，使学生体会机器学习广泛的应用场景，通过本课程的学习，学生将全面了解机器学习的正确运用，能够在实际项目的研究中运用机器学习加速工作，跟踪前沿的机器学习算法，思想，应用等，能够为学生从事人工智能下一步相关研究工作或在实践项目中的应用打下坚实的基础。二、课程具体内容及基本要求（一）机器学习基本概念(2学时)主要包括机器学习基本概念，用途和发展历史以及分类，介绍机器学习所需要的预备知识，指导学生安装配置必要的环境-2-1.基本要求（1）了解机器学习的发展史（2）了解机器学习的基本概念（3）了解机器学习在目前的用途（4）回顾机器学习所需的基础知识2.重点、难点重点：区分监督学习与非监督学习的区别难点：理解机器学习为什么在现在开始崛起3.作业及课外学习要求：（1）完成课堂测试，（2）配置所需开发环境，（3）复习先修课程相关知识。（二）回归(4学时)主要包括线性回归和逻辑回归的基本概念，组成形式，提出成本函数的概念，介绍梯度下降的学习方法，引入了分类的概念，以及拓展线性回归和逻辑回归在多分类场景的应用。提出过拟合的概念，采用正则化来防止数据的过拟合。在线性回归和逻辑回归的实力中进行应用。1.基本要求：（1）理解线性回归的概念；（2）理解成本函数的概念；（3）学会使用梯度下降算法；（4）理解分类与边界的概念；（5）理解逻辑回归分类的概念；（6）能够将线性分类和逻辑分类应用于多分类场景；（7）体会过拟合对于机器学习的影响；2.重点、难点重点：掌握成本函数和梯度下降算法；难点：学会用正则化构建回归模型并避免过拟合3.作业及课外学习要求：（1）课堂练习-3-（2）根据所学内容构建正则化的多分类线性回归和逻辑回归机器学习模型（上机实验）；（3）阅读材料了解过拟合的成因原理，明白避免过拟合的多种方法。（三）神经网络(4学时)神经网络是一种受大脑工作方式而启发得到的模型，其广泛应用于生活的各种应用场合中。我们将在此处介绍模型的构成与学习方式。之后我们引入了反向传播算法，用于帮助学习神经网络的参数。在这个模块的最后，你将会实现你自己的神经网络来解决一个实际问题。1.基本要求（1）理解神经网络模型概念；（2）理解特征和样本的概念；（3）理解神经网络中的代价函数；（4）掌握反向传播算法和梯度检验；（5）掌握随机初始化的方法；（6）能够构建并训练优化神经网络；2.重点、难点重点：理解神经网络的工作原理，体会不同部分在神经网络中的作用难点：学会将梯度检验以及其他高级优化方法应用于神经网络的构建中3.作业及课外学习要求：（1）完成课堂Quiz，（2）根据所学内容，完成基本神经网络的构建，并通过实际问题来进行训练和优化，注意使用所学的优化方法；（实验上机）；（3）课外阅读，了解神经网络在目前的应用与发展水平，了解神经网络的种类与不同应用场景。（四）支持向量机（2学时)支持向量机是一种用来分类的机器学习算法，这里我们将介绍支持向量机背后的思想，提出大边界分类和和函数的概念，以及讨论如何在实际使用中应用SVM解决实际问题，1.基本要求（1）在优化目标的情况下通过修改逻辑回归来得出支持向量机的概念；（2）理解间隔和超平面的概念（3）理解支持向量的概念；-4-（4）理解核函数的概念（5）理解支持向量机的概念；（6）掌握建立支持向量机的方法并针对特定情形应用；2.重点、难点重点：理解大间距分类器的概念。难点：支持向量机与逻辑回归的关系；支持向量机如何实现；核函数的掌握3.作业及课外学习要求：（1）完成课堂Quiz；（2）自行完成核函数的推导；（3）根据所学内容，建立支持向量机，并对实际问题优化（实验上机）；（4）对于同一个问题比对逻辑回归和支持向量机分类的不同（实验上机）；（5）课外阅读，了解支持向量机在金融预测等领域的最新应用，体会支持向量机与其他算法的不同。（五）聚类(2学时)这里要引入无监督学习的概念。并以聚类中的k均值算法为例子，讲述无监督学习对于理解数据的优势，介绍数据挖掘的概念。提出聚类的优化目标，介绍随机初始化和选择聚类数的方法。1.基本要求（1）理解无监督学习的概念；（2）掌握k均值算法的构建和应用；（3）理解k均值算法的优化目标（4）掌握随机初始化的方法（5）掌握选取聚类数的方法；（6）了解数据挖掘的概念；2.重点、难点重点：理解监督学习和无监督学习的区别；掌握k均值算法的构建；难点：随机初始化和聚类树在k均值算法中的应用；3.作业及课外学习要求：（1）完成课堂Quiz；（2）结合所学内容，建立k均值算法模型，解决实际问题（实验上机）；-5-（3）对比无监督学习和监督学习的异同；（4）查阅资料，了解无监督学习在数据挖掘方向的应用和实例，了解数据挖掘的相关知识。（六）降维(2学时)在这个部分中我们引入了降维的概念，从降维的动机入手，阐述降维的必要性和优势，然后再引入主成分分析，具体介绍了主成分分析问题以及算法，以及如何选取主成分的数量，展示了如何将其用于数据压缩以提升学习算法速度和对复杂数据集的可视化。最后介绍了如何重建压缩后的数据。1.基本要求（1）体会高维数据压缩前后使用的不同；（2）掌握降维的概念；（3）理解主成分分析算法的概念；（4）学会通过主成分分析算法压缩数据维度；（5）学会重建压缩后的数据；2.重点、难点重点：明白降维的重要性；学会主程序分析算法压缩数据；难点：学会如何选取主成分的数量3.作业及课外学习要求：（1）完成课堂Quiz；（2）根据所学知识，用主成分分析算法压缩数据维度，将压缩后的数据重建；（实验上机）；（3）拓展阅读，了解机器学习降维的其他算法。（七）大规模机器学习(2学时）我们通过学习可以发现，机器学习在有大量数据可供训练时的表现最好，在这部分我们将谈论机器学习在大数据集上的几个应用方式，主要介绍随机梯度下降法，小批量梯度下降法，随机梯度收敛法，在线学习机制和映射化简与数据并行。1.基本要求（1）理解机器学习在大数据及上表现好的原因；（2）理解大数据及学习与普通机器学习的差距；-6-（3）了解随机梯度下降法，（4）了解小批量梯度下降法，（5）了解随机梯度收敛法，（6）了解在线学习机制（7）了解映射化简与数据并行。2.重点、难点重点：理解大数据机器学习的特点；3.作业及课外学习要求：（1）完成课堂Quiz（2）重现上课过程中的大规模机器学习的方法a)3，通过课外阅读，了解大规模机器学习的其他方法与前沿理论；（八）应用机器学习中的问题(2学时)在实践中应用机器学习并不总是那么简单。这里，我们分享了在实践中应用机器学习的最佳实践，并讨论了评估学习模型性能的最佳方法。主要包括如何诊断一个机器学习的方法，如何对于假设的评估，引入模型选择与交叉验证集的概念，介绍学习曲线。1.基本要求（1）掌握机器学习诊断法（2）学会评估假设；（3）理解模型选择和交叉验证集的概念；（4）学会诊断偏差和方差；（5）理解学习曲线的意义；2.重点、难点重点：掌握对于机器学习算法的诊断，掌握优化机器学习的思路；理解学习曲线难点：理解模型选择的依据，学会根据不同情况选择模型；学会诊断偏差方差；学会控制正则化的程度；3.作业及课外学习要求：（1）完成课堂Quiz（2）根据所学内容，对自己之间建立的机器学习进行评估。-7-（九）机器学习系统的设计(4学时)包括介绍如何从实际问题中提取出机器学习问题，选择合适的模型进行建模，训练，优化，最终得出一个性能可靠的可以解决问题的模型。同时，还将介绍几个目前比较广泛的应用，包括异常检测，推荐系统，图片中的文字识别等。1，基础要求：（1）学会选择并表达特征向量；（2）学会误差分析；（3）平衡查全率和查准率；（4）理解机器学习中数据的作用；（5）学会建立机器学习经典实例的模型（异常检测系统，推荐系统，图片文字提取）；2，重点，难点：重点：能够从实际问题中抽象出机器学习问题并选取合适的模型进行问题求解；难点：掌握机器学习系统设计的技巧；3，作业及课外学习要求：（1）完成课堂练习（2）建立课堂所提到的机器学习经典应用模型并优化（实验上机）；（3）查阅资料，了解机器学习系统构建过程中所需要的其他技巧。三、教学安排及方式总学时24+16学时，其中：多种方式24学时，实验（或上机或综合练习）16学时。序号课程内容学时教学方式1机器学习简介2讲授22回归4+2讲授4+实验23神经网络4+2讲授4+实验24支持向量机2+2讲授2+实验25聚类2+2讲授2+实验26降维2+2讲授2+实验27大规模机器学习2讲授2-8-8机器学习应用的建议2讲授29机器学习系统的设计4+2讲授4+实验210机器学习的经典应用0+4实验424+16注：教学方式填写“讲授、实验或实践、上机、综合练习、多种形式”。四、本课程对培养学生能力和素质的贡献点贡献点1：在课程中全面讲解机器学习、数据挖掘和统计模式识别的相关知识，基础感念，基本组成形式，基础应用。让学生产生生对机器学习的兴趣，明白机器学习在现在研究应用中的重要价值，让学生对机器学习领域产生较为清楚的概念体系贡献点2：课程将指导学生如何在实际学习研究中应用机器学习，以提升学生的综合能力，让学生学会以机器学习的思想解决实际问题，为以后的进一步的学习和研究打下基础对毕业要求1：工程知识：掌握机器学习基础理论知识和专业核心知识；熟悉机器学习的发展现状和趋势，并能够将各类机器学习知识应用于解决复杂工程问题。对毕业要求2：问题分析：掌握机器学习基础理论知识和核心知识；能够应用数学、自然科学和工程科学的基本原理，对复杂工程问题进行识别、分析、归类和表达，掌握文献检索及运用现代信息技术对复杂工程问题进行综合分析与抽象表示和建模的能力，以获得有效结论。对毕业要求3：使用现代工具：能够在复杂工程问题的分析、研究中，根据具体需要，合理利用已有的机器学习资源与技术，自主开发、选择与使用恰当的技术方法、工程工具，辅助复杂工程问题的预测与模拟、分析建模以及解决方案的设计等、提高复杂工程问题解决的效率，并同时能理解这些预测模拟的局限性。五、考核及成绩评定方式最终成绩由课堂成绩、平时作业，实验表现，期末大作业组合而成，各部分所占比例如下：课堂成绩：40%。包括课堂表现，翻转课堂测试，考察对课后作业的完成情况。平时作业成绩：40%。包括课堂小测，编程作业，实验报告等，主要考核对每堂课知识点的复习、理解和掌握程度，以及对所学知识的实践能力期末大作业：20%。主要考核在一学期的学习之后学生对于机器学习的总体上的理解，-9-考察学生在实践用应用机器学习的能力，是否会用机器学习的思想解决问题。考察学生对于机器学习最前沿成就的了解程度。六、教材及参考书目教材以及参考书目：[1]主课教材Coursera吴恩达机器学习[2]周志华《机器学习》清华大学出版社第1版2016.1[3]PeterHarrington《机器学习实战》（李锐李鹏曲亚东王斌译）[4