数据仓库与数据挖掘实验报告-焦永赞

信息工程实验室实验报告册1《数据仓库与数据挖掘》实验报告册2013-2014学年第一学期班级：T1153-8学号：20110530816姓名：焦永赞授课教师：杨丽华实验教师：杨丽华实验学时：16实验组号：1信息管理系信息工程实验室实验报告册2目录实验一MicrosoftSQLServerAnalysisServices的使用..3实验二使用WEKA进行分类与预测..........................................114实验三使用WEKA进行关联规则与聚类分析...........................22实验四数据挖掘算法的程序实现..............................................28信息工程实验室实验报告册3实验一MicrosoftSQLServerAnalysisServices的使用实验类型：验证性实验学时：4实验目的：学习并掌握AnalysisServices的操作，加深理解数据仓库中涉及的一些概念，如多维数据集，事实表，维表，星型模型，雪花模型，联机分析处理等。实验内容：在实验之前，先通读自学SQLSERVER自带的AnalysisManager概念与教程。按照自学教程的步骤，完成对FoodMart数据源的联机分析。建立、编辑多维数据集，进行OLAP操作，看懂OLAP的分析数据。实验步骤（写主要步骤，可以打印）：1、启动联机分析管理器：开始-程序－MicrosoftSQLServer－AnalysisManager。2、按照AnalysisService的自学教程完成对FoodMart数据源的联机分析。3、在开始-设置-控制面板-管理工具-数据源（ODBC），数据源管理器中设置和源数据的连接，“数据源名”为你的班级+学号+姓名，如T3730101张雨。（1）打开管理工具中的数据源：（2）选择系统DNS信息工程实验室实验报告册4（3）建立名为“………….”的数据源(4)添加，选择“MicrosoftAccess驱动程序(*.mdb)”，然后单击“完成”按钮（5）选择数据库（6）在“ODBCMicrosoftAccess安装”对话框中单击“确定”按钮。在“ODBC数据源管理器”对话框中单击“确定”按钮。4、在开始-设置-控制面板-管理工具-服务-MSSQLServerOLAPService,启动该项服务。在AnalysisManager中，单击服务器名称，即可建立与AnalysisServers的连接；否则，在AnalysisServers上单击右键，注册服务器，在服务器名称中输入本地计算机的名字，如pc56。本地计算机的名字可右击：我的电脑，选择属性，网络标志，里面有本地计算机的名字。建立新的数据库，数据库名与数据源名相同，如T3730101张雨。在你所建立的数据库中，单击“新数据源”，和早期在ODBC数据源管理器中建立的数据源连接。（1）启动MSSQLServerOLAPService服务信息工程实验室实验报告册5（2）注册服务器（3）建立名为“………”的新数据库（4）建立数据源5、假设你是FoodMartCorporation的数据库管理员。FoodMart是一家大型的连锁店，在美国、墨西哥和加拿大有销售业务。市场部想要按产品和顾客分析1998年进行的所有销售业务数据。要求建立Sales多维数据集，多维数据集是由维度和事实定义的。其维度有“Time”维度、“Product”维度、“Customer”维度、“Store”维度和“Promotion”维度，事实表为sales_fact_1998，事实表中的度量为：store_sales、store_cost、unit_sales。理解每个维度的级别。信息工程实验室实验报告册6（1）“Time”维度（2）Product维度信息工程实验室实验报告册7（3）“Customer”维度（4）“Store”维度（5）“Promotion”维度6、可以使用多维数据集编辑器对现有多维数据集进行更改。在使用或浏览多维数据集中的数据之前，要求设计多维数据集中的数据和聚合的存储选项。即设计好Sales多维数信息工程实验室实验报告册8据集的结构之后，需要选择要使用的存储模式并指定要存储的预先计算好的值的数量。完成此项操作之后，需要用数据填充多维数据集。这里选择MOLAP作为存储模式，创建Sales多维数据集的聚合设计，然后处理该多维数据集。处理Sales多维数据集时将从ODBC源中装载数据并按照聚合设计中的定义计算汇总值。信息工程实验室实验报告册97、使用多维数据集浏览器，可以用不同的方式查看数据：可以筛选出可见的维度数据量，可以深化以看到数据的细节，还可以浅化以看到较为概括的数据。这里可以使用多维数据集浏览器对Sales数据进行切片和切块操作。要求理解OLAP操作下数据的含义，从而可以分析数据。8、人力资源部想按商店来分析雇员的工资。本节将建立一个HR（人力资源）多维数据集，以进行雇员工资分析。将把Employee（雇员）维度创建为父子维度。然后使用该维度以及常规维度来生成HR多维数据集。其中，事实数据表为salary（工资），维度信息工程实验室实验报告册10为Employee（雇员）、Store（商店）、Time（时间）。了解如何建立父子维度。信息工程实验室实验报告册119、建立计算成员和成员属性。在Sales多维数据集中建立“Averageprice”计算成员，思考建立该计算成员的目的。市场部希望将Sales多维数据集分析功能扩展到根据客户的下列特征分析客户销售数据：性别、婚姻状况、教育程度、年收入、在家子女数和会员卡。需要向Customer维度添加以下六个成员属性：Gender（性别）、Maritalstatus（婚姻状况）、Education（教育程度）、YearlyIncome（年收入）、NumChildrenAtHome（在家子女数）和MemberCard（会员卡）。这些成员属性将限制Customer维度中的每个成员。理解什么是计算成员和成员属性，为什么要建立？10、已经为客户维度添加了六个成员属性，可以创建一个带有YearlyIncome（年收入）成员属性的虚拟维度，然后将这个新创建的维度添加到Sales多维数据集中。使用虚拟维度，可以基于多维数据集中的维度成员的成员属性对多维数据集数据进行分析。其优点是不占用磁盘空间或处理时间。（1）为客户维度添加属性信息工程实验室实验报告册12（2）创建YearlyIncome虚拟维度11、理解多维数据集角色和数据库角色的联系和区别、建立角色的目的。（1）在sales中创建marketing角色（2）在HR中创建HR角色信息工程实验室实验报告册1312、查看销售多维数据集的元数据和维度的元数据，加深对元数据概念和分类的理解。（1）查看销售元数据（2）查看Customer元数据思考题（要求手写）给出一个数据仓库成功应用的案例，包括所解决的问题，功能等。信息工程实验室实验报告册14实验小结（要求手写）：实验中遇到的问题及解决办法、心得、体会等等...实验二使用WEKA进行分类与预测实验类型：综合性实验学时：4实验目的：掌握数据挖掘平台WEKA的使用。综合运用数据预处理、分类与预测的挖掘算法、结果的解释等知识进行数据挖掘。从而加深理解课程中的相关知识点。实验内容：阅读并理解WEKA的相关中英文资料，熟悉数据挖掘平台WEKA，针对实际数据，能够使用WEKA进行数据的预处理，能选择合适的分类与预测算法对数据进行分析，并能解释分析结果。实验步骤（可以打印）：1、在开始-程序-启动WEKA，进入Explorer界面，熟悉WEKA的界面功能。信息工程实验室实验报告册152、选择数据集（实验中的数据可以从网络获取），如泰坦尼克号数据集，将要处理的数据信息工程实验室实验报告册16集转换成WEKA能处理的格式，如.ARFF格式。思考：如何将其它格式的数据文件（如.XLS）转换为.ARFF格式？3、根据选择的数据挖掘算法，如果有必要，在WekaExplorer界面，Preprocess选项中，进行相应的数据预处理。要求：熟悉Preprocess界面中各个功能选项的含义，理解数据的特征。思考：在filter中，supervised和unsupervised的区别?信息工程实验室实验报告册174、在WekaExplorer界面，单击Visualize选项，进入WEKA的可视化页面，可以对当前的信息工程实验室实验报告册18关系作二维散点图式的可视化浏览。要求:熟悉Visualize界面中各个功能选项的含义，理解可视化图形的意义。5、选择相应的分类与预测挖掘算法对数据集进行分析，进行算法参数的具体设置。如利用WEKA-Classifier-trees-J48决策树算法，对泰坦尼克号数据集进行分析；如利用回归模型对连续数值进行预测。要求：对你选择的分类和预测算法思想分别进行介绍，熟悉classify界面的内容，对classifier中的参数含义分别进行介绍。思考：classifier-trees-J48算法与classifier-trees-id3算法的区别与联系。ID3算法：信息工程实验室实验报告册19J48算法：6、对分析所获得的结果进行解释。如，根据决策树和分类规则尝试讨论泰坦尼克号幸存者的特征。理解评估分类和预测优劣的一些准则。信息工程实验室实验报告册20思考题（要求手写）给出数据挖掘中分类与预测成功应用的案例，并简要介绍。实验小结（要求手写）：实验中遇到的问题及解决办法、心得、体会等等...信息工程实验室实验报告册21实验三使用WEKA进行关联规则与聚类分析实验类型：综合性实验学时：4实验目的：掌握数据挖掘平台WEKA的使用。综合运用数据预处理、关联规则与聚类的挖掘算法、结果的解释等知识进行数据挖掘。从而加深理解课程中的相关知识点。实验内容：阅读并理解WEKA的相关中英文资料，熟悉数据挖掘平台WEKA，针对实际数据，能够使用WEKA进行数据的预处理，了解属性选择，能选择合适的关联规则与聚类算法对数据进行分析，并能解释分析结果。实验步骤（可以打印）：信息工程实验室实验报告册221、在开始-程序-启动WEKA，进入Explorer界面，熟悉WEKA的界面功能。2、选择数据集（实验中的数据可以从网络获取），将要处理的数据集转换成WEKA能处理的格式，如.ARFF格式。根据选择的数据挖掘算法，如果有必要，在WekaExplorer界面，Preprocess选项中，进行相应的数据预处理。3、在WekaExplorer界面，单击Selectattributes选项，进入WEKA的属性选择页面。要求:了解该界面中主要功能选项的含义，理解该界面的功能。信息工程实验室实验报告册234、在WekaExplorer界面，单击Associate选项，进入WEKA的关联规则页面。选择一个关联规则算法对数据集进行分析，进行算法参数的具体设置。要求：对你选择的关联规则算法思想进行介绍，熟悉Associate界面的内容，对Associate中的参数含义分别进行介绍。理解用来衡量规则的关联程度的几个度量指标。理解并解释分析所获得的结果。信息工程实验室实验报告册245、在WekaExplorer界面，单击Cluster选项，进入WEKA的聚类页面。选择一个聚类算法（如K均值）对数据集进行分析，进行算法参数的具体设置。要求：对你选择的聚类算法思想进行介绍，熟悉Cluster界面的内容，对Cluster中的参数含义进行介绍。理解并解释分析所获得的结果。信息工程实验室实验报告册25信息工程实验室实验报告册26思考题（要求手写）给出数据挖掘中关联规则与聚类成功应用的一些案例，并简要介绍。实验小结（要求手写）：实验中遇到的问题及解决办法、心得、体会等等...信息工程实验室实验报告册27实验四数据挖掘算法的程序实现实验类型：设计性实验学时：4实验目的：运用数据挖掘、程序设计等相关知识