Weka-数据挖掘软件使用指南

Weka数据挖掘软件使用指南1.Weka简介该软件是WEKA的全名是怀卡托智能分析环境（WaikatoEnvironmentforKnowledgeAnalysis），它的源代码可通过得到。Weka作为一个公开的数据挖掘工作平台，集合了大量能承担数据挖掘任务的机器学习算法，包括对数据进行预处理，分类，回归、聚类、关联规则以及在新的交互式界面上的可视化。如果想自己实现数据挖掘算法的话，可以看一看Weka的接口文档。在Weka中集成自己的算法甚至借鉴它的方法自己实现可视化工具并不是件很困难的事情。2.Weka启动打开Weka主界面后会出现一个对话框，如图：主要使用右方的四个模块，说明如下：Explorer：使用Weka探索数据的环境,包括获取关联项，分类预测，聚簇等；Experimenter：运行算法试验、管理算法方案之间的统计检验的环境；KnowledgeFlow：这个环境本质上和Explorer所支持的功能是一样的，但是它有一个可以拖放的界面。它有一个优势，就是支持增量学习；SimpleCLI：提供了一个简单的命令行界面，从而可以在没有自带命令行的操作系统中直接执行Weka命令（某些情况下使用命令行功能更好一些）。3．主要操作说明点击进入Explorer模块开始数据探索环境。3.1主界面进入Explorer模式后的主界面如下：3.1.1标签栏主界面最左上角（标题栏下方）的是标签栏，分为五个部分，功能依次是：Preprocess(数据预处理)：选择和修改要处理的数据；Classify(分类)：训练和测试关于分类或回归的学习方案；Cluster(聚类)：从数据中学习聚类；Associate(关联)：从数据中学习关联规则；Selectattributes(属性选择)：选择数据中最相关的属性；Visualize(可视化)：查看数据的交互式二维图像。3.1.2载入、编辑数据标签栏下方是载入数据栏，功能如下：Openfile：打开一个对话框，允许你浏览本地文件系统上的数据文件（.dat）；OpenURL：请求一个存有数据的URL地址；OpenDB：从数据库中读取数据；Generate：从一些数据生成器中生成人造数据。3.1.3其他界面说明接下来的主界面中依次是Filter（筛选器），Currtentrelation（当前关系）、Attributes（属性信息）、Selectedattribute（选中的属性信息）以及Class（类信息），分别介绍如下：Filter在预处理阶段，可以定义筛选器来以各种方式对数据进行变换。Filter一栏用于对各种筛选器进行必要设置。Filter一栏的左边是一个Choose按钮。点击这个按钮就可选择Weka中的某个筛选器。用鼠标左键点击这个choose左边的显示框，将出现GenericObjectEditor对话框。用鼠标右键点击将出现一个菜单，你可从中选择，要么在GenericObjectEditor对话框中显示相关属性，要么将当前的设置字符复制到剪贴板。Currtentrelation显示当前打开的数据文件的基本信息：Relation（关系名），Instances（实例数）以及Attributes（属性个数）。Attributes显示数据文件中的属性信息，并且包含四个操作按键：All：所有选择框都被勾选；None：所有选择框被取消；Invert：已勾选的选择框都被取消，反之亦然；Pattern：让用户基于Perl5正则表达式来选择属性。例如，用*_id选择所有名称以_id结束的属性。底下显示的就是数据文件包含的属性，可以进行勾选等操作。特别地，当数据预处理是不要某个属性时，将其各选，点击列表正下方的Remove按键即可删除这一属性:Selectedattribute显示勾选的属性的基本信息。Class显示属性中数据元组的直方图。点击Visualizeall按键可以查看所有属性中元组的直方图。3.2实现基本数据挖掘功能：3.2.1Associate（关联规则）注意：目前，Weka的关联规则分析功能仅能用来作示范，不适合用来挖掘大型数据集。各部分功能说明如下：Associator切换到Associate选项卡。单击choose按键，可以选择关联规则算法，系统默认关联规则分析算法是Apriori算法。选择关联规则算法后，点Choose右边的文本框修改默认的参数，弹出的窗口中点More可以看到各参数的说明。一下简列几项：upperBoundMinSupport：最小支持度上限removeAllMissingCols：移除具有遗失值的列lowerBoundMinSupport：最小支持度下限outputItemSets：如果有可能也输出项集significanceLevel：显著性水平classIndex：确定分类属性，如果设为-1,则最后一个属性为分类属性treatZeroAsMissing：将遗失值全部置为0numRules：在某种关联规则下取出的满足条件的规则数；metricType：关联、程度指标；注意：各种关联规则算法都是尤其使用范围的，并不是所有的属性的数据类型都能被某一算法处理，典型的例如Apriori算法。因此可以在choose下拉菜单中选择Filter选项，在其中勾选待处理数据的属性的类型以滤除无法使用的算法。要想知道每种算法都是用哪些数据类型，可以左击choose旁边的文本框，在弹出的菜单栏中单击capabilities选项可以看到这种算法能够处理的数据类型。Resultlist点击Associator下方的start按键可以开始进行关联项分析，结果列表即出现在Resultlist中，右击出现更多选项可供选择。Associatoroutput这里显示关联分析结果，如图为一个例子：一次显示了10个符合条件的关联规则，并且在其后显示了关联规则的四项指标以供参考。3.2.2Classify（分类预测）该部分实现数据挖掘中的分类与预测功能，提供了各种主要的分类预测算法供使用者选择。下面是界面各部分的介绍：Classifier在choose一栏中选择需要的分类算法，同样地方法，每当选择一个算法，这个算法便在choose左边的文本框中进行显示，单击他会出现一个菜单，其中包含了一些参数的设定和more以及capabilities选项，欠着用来获取那些需要设定参数的具体信息，后者用来获取算法适合的属性数据类型，这一点是相似的，因此在对数据进行处理是也应该注意数据的属性类型，单击choose在下拉菜单中选择Filter按键可以进行数据类型的选择从而过滤掉不能使用的算法。。Testoption提供四种测试模式：1.Usingtrainingset.根据分类器在用来训练的实例上的预测效果来评价它。2.Suppliedtestset.从文件载入的一组实例，根据分类器在这组实例上的预测效果来评价它。点击Set…按钮将打开一个对话框来选择用来测试的文件。3.Cross-validation.使用交叉验证来评价分类器，所用的折数填在Folds文本框中。4.Percentagesplit.从数据集中按一定百分比取出部分数据放在一边作测试用，根据分类器这些实例上预测效果来评价它。取出的数据量由%一栏中的值决定。当一切准备就绪时，点击start按键开始分类过程，完成后Resultlist中会显示结果列表，并且Classifieroutput中会显示出结果。右击Resultlist中的结果，可以看见多个选项，选择Visualizetree，新窗口里可以看到图形模式的决策树。建议把这个新窗口最大化，然后点右键，选“Fittoscreen”，可以把这个树看清楚些。先运行一个结果解释其中一些内容，如图所示：第一行的CorrectlyClassifiedInstances表示当前参与分类的实例中被正确分类的实例数目，第二行IncorrectlyClassifiedInstances表示未被正确分类的实例数目。关于ConfusionMatrix，解释如下：原本“pep”是“YES”的实例，有74个被正确的预测为“YES”，有64个错误的预测成了“NO”；原本“pep”是“NO”的实例，有30个被错误的预测为“YES”，有132个正确的预测成了“NO”。74+64+30+132=300是实例总数，而(74+132)/300=0.68667正好是正确分类的实例所占比例。这个矩阵对角线上的数字越大，说明预测得越好。更多选项及解释内容参见：3.3.3Cluster（聚簇分析）聚簇分析的原理就是将为标定类的数据根据其相似性分为几个类，在同一类中的数据元组具有较强的相似性，而在不同类中的数据元组则没有相似性或者很弱。现对其主要界面说明如下：Clusterer单击choose，在这里可以选择适当的聚簇算法，选择后该算法会出现在choose左边的文本框中，在单击弹出的菜单可以对参数进行设定。同时在选择more或者capabilities选项可以查看每种设定表示的具体信息和该算法的适用范围（包括适用的数据类型信息等）。ClustermodeClusterMode一栏用来决定依据什么来聚类以及如何评价聚类的结果。前三个选项和分类的情形是一样的：Usetrainingset、Suppliedtestset和Percentagesplit区别在于现在的数据是要聚集到某个类中，而不是预测为某个指定的类别。第四个模式，Classestoclustersevaluation，是要比较所得到的聚类与在数据中预先给出的类别吻合得怎样。和Classify面板一样，下方的下拉框是用来选择作为类别的属性的。在Clustermode之外，有一个Storeclustersforvisualization的勾选框，该框决定了在训练完算法后可否对数据进行可视化。设定按start开始进行，注意在其上方的可以允许我们忽略某些属性。Resultlist与前面的情形一样，该栏对结果进行顺序显示。右击每一项弹出选择菜单：如，Visualizeclusterassignments和Visualizetree。后者在它不可用时会变灰。Clustereroutput显示聚簇分析的结果。