数据挖掘实验报告

数据挖掘实验报告学院名称计算机科学与技术学院专业名称学生姓名学号5指导教师二〇一六年十一月实验内容实验一一、实验原理(1).缺省值的处理：用均值替换、回归查补和多重查补对缺省值进行处理通过R语言提供的方法确定哪些有缺省值，哪些是异常值，并把异常置为缺失值来处理，通过表格形式打印出来。将数据集分成完整数据和缺失数据两部分。(2).用均值替换：求变量未缺失部分的均值，用均值替换缺失。回归查补：是把缺失属性作为因变量，其他相关属性作为自变量，利用他们之间的关系建立回归模型的来预测缺失值，以此完成缺失值插补的方法。(3).多重查补：多值插补的思想来源于贝叶斯估计，认为待插补的值是随机的，它的值来自于已观测到的值。具体实践上通常是估计出待插补的值，然后再加上不同的噪声，形成多组可选插补值。根据某种选择依据，选取最合适的插补值。多重插补方法分为三个步骤：①为每个空值产生一套可能的插补值，这些值反映了无响应模型的不确定性；每个值都可以被用来插补数据集中的缺失值，产生若干个完整数据集合。②每个插补数据集合都用针对完整数据集的统计方法进行统计分析。③对来自各个插补数据集的结果，根据评分函数进行选择，产生最终的插补值。二、实验目的掌握数据预处理的基本方法。三、实验内容1、R语言初步认识（掌握R程序运行环境）2、实验数据预处理。（掌握R语言中数据预处理的使用）对给定的测试用例数据集，进行以下操作。1）、加载程序，熟悉各按钮的功能。2）、熟悉各函数的功能，运行程序，并对程序进行分析。对餐饮销量数据进统计量分析，求销量数据均值、中位数、极差、标准差，变异系数和四分位数间距。对餐饮企业菜品的盈利贡献度（即菜品盈利帕累托分析），画出帕累托图。3）数据预处理缺省值的处理：用均值替换、回归查补和多重查补对缺省值进行处理对连续属性离散化：用等频、等宽等方法对数据进行离散化处理四、实验步骤1.将数据加载，通过函数计算所需的值2.对餐饮企业菜品的盈利贡献度（即菜品盈利帕累托分析），画出帕累托图。3.数据预处理。分别采用等宽离散化，等频离散化，聚类离散化来实现，画出图示结果。五、实验结果1.销售数据的加载以及对于函数的计算2.画出帕累托图3.对数据的预处理（1）缺省值的处理（2）对连续属性离散化六、思考与分析1、异常值的存在会对挖掘结果带来什么样的不良影响？对异常值分析是检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的，不加剔除的把异常值包括进数据的计算分析过程中，会给结果带来不良影响2、为什么需要对数据进行规范化？进行规范化的目地：规范化目的是使结构更合理，消除存储异常，使数据冗余尽量小，便于插入、删除和更新实验二一、基本原理分类算法是解决分类问题的方法。分类算法通过对已知类别训练集的分析，从中发现分类规则，以此预测新数据的类别。分类算法的应用非常广泛，银行中风险评估、客户类别分类、文本检索和搜索引擎分类、安全领域中的入侵检测以及软件项目中的应用等等。二、实验目的：掌握CART决策树构建分类模型。三、实验内容对所有窃漏电用户及真诚用户的电量、告警及线损数据和该用户在当天是否窃漏电的标识，按窃漏电评价指标进行处理并选取其中291个样本数据，得到专家样本，使用CART决策树实现分类预测模型。注意：数据的80%作为训练样本，剩下的20%作为测试样本。四、实验步骤1、对数据进行预处理2、把数据随机分为两部分，一部分用于训练，一部分用于测试。3、使用tree包里的tree函数以及训练数据构建CART决策树模型，使用predict函数和构建的CART决策树模型分别对训练数据和测试数据进行分类。4、使用nnet包里面的nnet函数以及训练数据构建神经网络模型，使用predict函数和构建的神经网络模型分别对训练数据和测试数据进行分类。5、对比分析CART决策树和神经网络模型对数据处理的结果。五、实验结果1、划分后的决策树2、运行的nnet脚本六、思考与分析1、尝试采用神经网络对数据进行分类，并与CART决策树的结果进行比较。比较结果如下图显示实验三一、实验原理K-means算法是硬聚类算法，是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。K-means算法以欧式距离作为相似度测度，它是求对应某一初始聚类中心向量V最优分类，使得评价指标J最小。算法采用误差平方和准则函数作为聚类准则函数。二、实验目的：1、利用R实现数据标准化。2、利用R实现K-Meams聚类过程。三、实验内容1、依据航空公司客户价值分析的LRFMC模型提取客户信息的LRFMC指标。对其进行标准差标准化并保存后，采用k-means算法完成客户的聚类，分析每类的客户特征，从而获得每类客户的价值。编写R程序，完成客户的k-means聚类，获得聚类中心与类标号，并统计每个类别的客户数四、实验步骤1、对已有的数据进行数据清理，对处理后的数据进行保存。2、数据探索，确定探索分析的变量，去掉日期型变量，最终输出变量最值、缺失情况。3、将数据进行标准化处理。4、进行聚类分析，得出类别分布。五、实验结果1、数据清理结果2、聚类分析结果六、思考与分析1、使用不同的预处理对数据进行变化，再使用k-means算法进行聚类，对比聚类的结果。k-means算法接受参数k；然后将事先输入的n个数据对象划分为k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”（引力中心）来进行计算的。优点：1.计算时间段，速度快；2.容易解释；3.聚类效果还不错。实验四一、实验原理Apriori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集。该算法的基本思想是：首先找出所有的频集，这些项集出现的频繁性至少和预定义的最小支持度一样。然后由频集产生强关联规则，这些规则必须满足最小支持度和最小可信度。然后使用第1步找到的频集产生期望的规则，产生只包含集合的项的所有规则，其中每一条规则的右部只有一项，这里采用的是中规则的定义。一旦这些规则被生成，那么只有那些大于用户给定的最小可信度的规则才被留下来。为了生成所有频集，使用了递归的方法。二、实验目的掌握R语言实现Apriori算法的过程。三、实验内容1、用R导入案例的事务集，每一行为一个事务集。调用其中的关联规则算法函数，输入算法的最小支持度与置信度，获得中医症型系数与患者TNM分期的关联规则，并将规则保存。四、实验步骤1、对数据进行离散化的处理，取六种证型列数，然后对每单个属性列进行聚类操作，结果保存用来后面的实验结果分析。2、对已处理好的数据实行Apriori算法，生成关联规则。五、实验结果1、支持度和置信度的值如下图所示六、思考与分析1、Apriori算法的关键步骤是找频繁集与根据置信度筛选规则，明白这两部后，可以按照自己的思路编写与优化关联规则程序。代码如下library(arules)#加载arules程序包data(Groceries)#调用数据文件frequentsets=eclat(Groceries,parameter=list(support=0.05,maxlen=10))#求频繁项集inspect(frequentsets[1:10])#察看求得的频繁项集inspect(sort(frequentsets,by=”support”)[1:10])#根据支持度对求得的频繁项集排序并察看（等价于inspect(sort(frequentsets)[1:10]）rules=apriori(Groceries,parameter=list(support=0.01,confidence=0.01))#求关联规则summary(rules)#察看求得的关联规则之摘要x=subset(rules,subset=rhs%in%”wholemilk”&lift=1.2)#求所需要的关联规则子集inspect(sort(x,by=”support”)[1:5])#根据支持度对求得的关联规则子集排序并察看lhsrhssupportconfidencelift1{othervegetables}={wholemilk}0.074834770.38675781.5136342{rolls/buns}={wholemilk}0.056634470.30790491.2050323{yogurt}={wholemilk}0.056024400.40160351.5717354{rootvegetables}={wholemilk}0.048906960.44869401.7560315{tropicalfruit}={wholemilk}0.042297920.40310081.577595