数据挖掘+数据挖掘实验教学大纲

《数据挖掘》教学大纲课程类别：专业任选修课程课程名称：数据挖掘开课单位：理学院课程编号：B03081904总学时：40学分：4适用专业：统计学专业先修课程：概率论、数理统计、多元统计分析等一、课程在教学计划中地位、作用数据挖掘是20世纪末刚刚兴起的数据智能分析技术，由于有广阔的应用前景而备受重视。数据挖掘作为一门新兴的学科，在它的形成和发展过程中表现出了强大的生命力，广大从事数据科学和统计科学的科研工作者和工程技术人员迫切需要了解和掌握它。数据挖掘自产生以来就是以分析数据、理解数据的实际需求为推动力的，其研究发展也逐步渗透到工业、农业、医疗卫生和商业的实际需求当中。数据挖掘涉及的内容较为广泛，已成为迅速发展并在信息社会中广泛应用的一门综合性学科。数据挖掘已成为计算机、统计学专业的一门重要课程，也是从事相关研究和应用人员必须掌握的重要知识。二、课程目标通过本课程的实验教学，使学生具备下列能力：（1）全面而深入地掌握数据挖掘的基本概念和原理，了解模型精度的评价方法。（2）深入地掌握线性回归分析及模型的改进与评价，掌握各种分类方法以及对其进行比较。能够对实际数据进行分类模型的建立，具有比较各方法的能力。（3）通过学习关联分析、社交网络分析以及文本挖掘，能够对实际数据进行处理、分析，并建立解释合理的统计模型。三、课程内容及基本要求第一章数据挖掘概述1、理解和掌握数据挖掘的基本概念、数据挖掘过程以及数据挖掘功能；2、了解数据挖掘的应用和面临的问题；3、对数据挖掘能够解决的问题和解决问题思路有清晰的认识。第二章数据探索1、了解数据的导入与导出；2、了解单变量数据的探索方法；3、了解多变量数据的探索方法；4、掌握图表的意义以及数据的描述统计。第三章回归分析1、理解多元线性回归模型的确定方法以及模型的检验方法；2、理解基于树的回归分析方法；3、了解非线性回归方法。第四章分类1、了解分类及预测的基本思想、概念和意义；2、掌握逻辑斯蒂回归，掌握线性判别分析，了解非线性判别分析；3、了解分类方法的比较。第五章聚类分析1、了解聚类分析的基本思想、概念和意义；2、掌握相似度（或相异度）的常用度量方法；3、掌握常用的聚类算法，包括K-Means、SOM、BIRCH、DBSCAN、STING；4、了解孤立点分析的三类方法；了解其它方法的内容；了解聚类分析的研究动态。第六章关联规则1、了解关联规则的基本思想、概念和意义；2、了解关联规则挖掘的应用背景；3、掌握常用的关联规则算法，包括Apriori、GRI、SequenceDetection；4、了解关联规则挖掘的研究动态。第七章文本挖掘1、了解文本挖掘的基本思想、概念和意义；2、掌握常用的文本挖掘的软件包，了解分词方法，掌握词项-文档矩阵的建立方法。3、能够进行词频统计分析以及词项聚类；3、能够利用文本挖掘工具对实际文本数据进行建模分析。第八章社交网络分析1、了解社交网络分析的基本思想、概念和意义；2、了解社交网络分析的应用背景；3、掌握社交网络分析方法。第九章综合案例分析1、了解数据挖掘课程所学内容，能够利用所学统计模型建立合适的回归方程；2、了解关联规则和社交网络分析在商品销售中应用；四、学时分配章节名称讲授（学时）实验（学时）小计第一章数据挖掘概述202第二章数据探索202第三章回归分析808第四章分类404第五章聚类分析404第六章关联规则404第七章文本挖掘606第八章社交网络分析404第九章综合案例分析606合计40040五、课程目标达成评价的途径和措施本课程通过“平时成绩”、“综合数据分析答辩成绩”两种方式对课程目标达成进行评价，考核成绩计算公式如下（本大纲中成绩均采用百分制）：考核成绩=平时成绩30%+综合数据分析答辩成绩70%平时成绩=出勤成绩1.平时成绩平时成绩给定方法如下表所示：在课堂上能积极主动回答问题，并回答正确者每次加10分；能积极主动回答问题，但有缺陷者每次加5分，该成绩加入平时成绩中。如平时成绩超过100分者，按最高分100分计。2、综合数据处理答辩成绩综合数据处理答辩成绩给定方法如下表所示：序号出勤次数成绩12010021990-9531880-8541770-7551660-6561550-5571440-454小于等于130序号综合数据处理答辩情况成绩1统计描述恰当、图表使用正确、统计方法正确，结论合理，检验有效90-1002统计描述和图表解释不详，统计模型正确，结论合理，检验有效80-893统计描述恰当，图表适用正确，模型合理，结论合理，缺失模型检验70-794数据处理恰当，统计模型正确，结论较为合理，缺失模型检验60-695数据处理有错误，建立统计模型，结论没有有效分析31-596数据处理有错误，模型建立不合理0-30六、主要参考书1.YanchangZhao(陈健黄琰译).R语言与数据挖掘最佳实践和经典案例.机械工业出版社2.LuisTorgo(李洪成、陈道轮吴立明译).数据挖掘与R语言.机械工业出版社3.GarethJames,DanielaWitten,TrevorHastie,RobertTibshirani(王星译).统计学习导论基于R应用.机械工业出版社《数据挖掘实验》教学大纲实验类别：专业教育课程所属课程名称：数据挖掘实验实验学时：24所属课程编码：B03081904S实验室名称：大学数学实验室实验室类别：基础实验室教学中心适用专业：统计学专业先修课程：多元统计、概率论、数理统计一、实验在教学计划中地位、作用本课程是统计学专业的专业教育实验课之一，是具有实际操作性和广阔应用前景的专业实验课。该课程要求学生掌握一种统计语言，通过编写程序，处理解决回归、分类、聚类、社交网络、关联分析、文本挖掘等数据问题。通过该课程的学习，使学生更深刻地认识数据挖掘各模块的实际应用背景，处理方法，可以提高观察、解决问题、科学思维以及从事科学研究的能力，养成严谨科学的作风和良好的实验习惯，为后续课程的学习奠定必要的基础。二、课程目标通过本课程的实验教学，学生应具备下列能力：1.能够导入、输出各种类型的数据，并对数据进行简单描述统计2.能够编写建立线性回归模型、非线性回归模型、树回归模型的程序，并能够通过程序检验模型。3.能够对数据进行聚类分析、分类分析、关联分析、社交网络分析，并能够对文本数据进行数据挖掘。三、实验内容及基本要求实验一数据的输入与导出1.掌握EXCEL数据、SAS数据、SPSS数据、文本数据等数据类型的输入2.掌握其它从外部获取数据源的方法3.掌握对数据进行统计描述4.掌握R数据的导出方法，以及熟悉R语言的常用统计命令实验二多元线性回归分析1.了解多元线性回归模型的命令，能够解释回归模型的系数2.掌握残差分析的方法3.了解Vif、updata、fit、predict等命令实验三局部多项式回归1.了解局部多项式回归的应用条件，使用背景2.掌握利用lm命令进行局部多项式回归3.掌握局部多项式回归的评价方法实验四决策树回归1.了解决策树的基本原理2.掌握tree、randomForest、gbm、Importance等命令的使用方法3.能够利用决策树理论分析离线数据的回归问题实验五分类分析1.理解Logistics回归在二分类中的应用2.掌握Logistics回归命令glm、线性判别命令lda、二次判别命令qda，以及其它的用于分类判别的R命令3.了解各种判别方法的比较方法实验六聚类分析1.了解聚类分析的基本思想2.掌握聚类分析的几种算法，K-means，k-medoids，系统聚类分，密度聚类法等，掌握R语言命令：Kmeans，hclust，cutree，pamk，dbscan等命令3.能够利用各种聚类方法对实际数据iries进行聚类分析实验七关联分析1.了解关联规则的基本概念置信度、可信度、提升度，掌握关联规则的冗余消除方法。2.掌握apriori算法，能够利用arules包对数据Titanic进行关联分析，挖掘出有效的关联规则。3.了解arulesviz包的使用，能够对经过冗余处理和裁剪的关联规则进行可视化处理实验八文本挖掘1、了解文本挖掘的常用的R包tm、jiebaR等，并掌握它们的安装方法2.掌握文本数据语料库的建立命令Corpus，语料库的处理命令tm_map；3、掌握分词命令，建立词项-文档矩阵。4、能够进行词频统计分析以及词项聚类；5、利用词云命令Wordcloud画出词云，找出关键词。实验九社交网络分析1、了解处理社交网络的常用R包igraph；2、掌握社交网络中节点，中心点，社区的概念；3、掌握igraph包命令graph.adjacency,simplify,V,degree，plot的使用。实验十综合案例分析1综合分析个案观察数据1、了解个案观测数据的变量分布特点，掌握描述统计方法；2、掌握建立回归方程的方法，比较各回归方程的优缺点；3、掌握模型检验的方法实验十一综合案例分析2综合分析大型超市零售记录数据1、了解大型超市零售记录数据的特点，进行描述统计2、掌握建立关联规则的方法和进行社交网络分析的方法四、学时分配实验项目名称实验性质实验（学时）实验一数据的输入与导出验证性2实验二多元线性回归分析验证性2实验三局部多项式回归验证性2实验四决策树回归验证性2实验五分类分析验证性2实验六聚类分析验证性2实验七关联分析验证性2实验八文本挖掘综合性4实验九社交网络分析验证性2实验十综合案例分析1综合分析个案观测数据综合性2实验十一综合案例分析2综合分析大型超市零售记录数据综合性2合计24五、课程目标达成评价的途径和措施本课程中每次实验均是考核内容，考核成绩将是每次实验成绩的均值。每次实验成绩分为“平时成绩”、“实验报告成绩”两部分进行评价，考核成绩计算公式如下（每次成绩采用百分制）：考核成绩=平时成绩30%+实验报告成绩70%平时成绩=出勤成绩1.平时成绩平时成绩给定方法如下表所示：在课堂上能积极主动回答问题，并回答正确者每次加10分；能积极主动回答问题，但有缺陷者每次加5分，该成绩加入平时成绩中。如平时成绩超过100分者，按最高分100分计。2.实验报告成绩：取所有实验报告成绩的平均值。每次实验报告成绩给定方法如下表所示：序号出勤次数成绩12010021990-9531880-8541770-7551660-6561550-5571440-454小于等于130序号实验报告完成情况课程目标达成度成绩1实验报告全部完成，正确率为100%，能够用较简单的命令或方法解答实验内容表明熟练掌握了课程知识点90-1002实验报告全部完成，正确率为100%表明掌握了课程知识点80-893实验报告全部完成，正确率大于85%表明掌握了课程的大部分知识点，但对较难或易混和知识点掌握存在不足70-794实验报告全部完成，正确率小于85%表明掌握了课程部分知识点，对相当一部分知识点掌握存在不足60-695完成实验报告任务量大于50%，小于100%课程学习态度不端正，没有掌握所学内容31-596完成实验报告任务量小于50%，或有明显抄袭现象课程学习态度不端正，没有掌握所学内容0-30