数据挖掘(第一部分)SPSS_clementine11培训1cindy

Clementine基础培训第一部分介绍Clementine数据挖掘软件的基本操作和环境，学习如何使用Clementine读取、处理数据©2006SPSSInc.2培训内容第一章数据挖掘简介第二章Clementine简介第三章读取数据文件第四章数据质量第五章数据处理第六章寻找数据之间的关系第一章数据挖掘简介©2006SPSSInc.4第一章数据挖掘简介内容介绍数据挖掘概念介绍CRISP-DM(跨行业数据挖掘标准流程)概述课程计划目的介绍数据挖掘过程，理解数据挖掘中的术语和关键概念，以及如何使用CRISP-DM过程模型管理一个数据挖掘项目©2006SPSSInc.5什么是数据挖掘？利用各种技术发现数据的隐含关系（知识）使用历史数据预测、分类，并且预测未来常用技术：人工智能、机器学习、决策树一个交互、反复的过程©2006SPSSInc.6Clementine中对数据挖掘的支持主动支持：计算机使用各种算法在数据中识别规则和关系被动支持：使用者处理并且浏览数据来寻找可疑的关系©2006SPSSInc.7数据数据是可以得到的吗？数据包含所需要了解的属性吗？数据是否有噪声？数据量足够吗？可以获得关于数据的专家知识吗？©2006SPSSInc.8数据挖掘的策略（计划性）主要想解决什么样的问题？可以得到什么样的数据来源，并且与当前问题相关的是哪部分数据？在挖掘数据前，需要做什么样的数据预整理和数据清洗？将会使用什么样的数据挖掘技巧？将会如何评估数据挖掘的分析结果？©2006SPSSInc.9CRISP-DM过程模型跨行业数据挖掘标准过程（CRISP－DM）定位是面向行业、工具导向、面向应用适用于大型工业和商业实践的一般标准六个阶段：商业理解数据理解数据准备建模模型评估结果发布©2006SPSSInc.10课程计划数据挖掘及数据挖掘软件数据理解：从数据源抽取数据用表格图形技术透视数据处理缺失值数据准备：针对记录的数据准备，如选择记录、对记录排序针对字段的数据准备，如生成新的字段针对文件的数据准备，如合并文件©2006SPSSInc.11课程计划建模技术：监督学习技术，神经网络、归纳规则（决策树）、线性回归、Logistic回归非监督学习技术，Kohonen网络、两步聚类、K-means聚类关联规则、时序探测模型评估如何应用CRISP-DM流程研究数据挖掘问题第二章Clementine简介©2006SPSSInc.13Clementine简介内容熟悉Clementine中的工具和面板介绍可视化编程的思想目的初步了解Clementine的功能数据课程的数据文件存放在目录“C:\培训\基础培训1”中©2006SPSSInc.14Clementine用户界面数据流区域工具栏菜单栏选项板区节点数据流，输出和模型管理器项目窗口©2006SPSSInc.15可视化编程节点一个图标代表在Clementine中进行的一个操作工作流一系列连接在一起的节点选项板包含一系列不同功能的图标©2006SPSSInc.16选项板源节点用来将数据读入Clementine中记录选项节点在记录上进行操作一条记录是一种“情形”或一“行”数据字段选项节点在字段上进行操作一个字段是一个变量图形节点在建模之前和之后用来可视化数据建模节点代表有效建模算法注意：建模算法产生生成的模型©2006SPSSInc.17在下面一部分…举例：增加一个节点移动一个节点编辑一个节点重新命名一个节点复制一个节点删除一个节点注释一个节点保存一个节点重新载入一个节点连接节点删除节点连接获得帮助©2006SPSSInc.18增加一个节点在选项板上双击节点，自动放置节点到数据流区域注意：它会自动地连接到“中心”节点将节点从选项板拖放到数据流区域中在选项板上点击一个节点，然后在数据流区域中点击一下未选择选择当节点在选项板中被选中后，会变成淡蓝色©2006SPSSInc.19编辑一个节点在节点上右击，展开一个节点点击“编辑”在菜单上还可以选择连接、断开连接、重命名、注释、复制、删除、载入、保存等操作©2006SPSSInc.20连接节点使用鼠标中键来连接节点在数据流区域上，把一个节点连接到另一个上，可以通过鼠标中间键点击和拖放来完成（如果您的鼠标没有中间键，可以通过按住“Alt”键来模拟这个过程）通过双击来连接节点双击选项板上的节点，自动把新节点连接到数据流区域中的“中心”节点上使用鼠标中键未选中的节点（灰白色）被选中的节点（淡蓝色）©2006SPSSInc.21删除节点之间的连接在连接箭头的头部按住鼠标右键选择“删除连接”©2006SPSSInc.22关于连接节点：源节点源节点是连接到初始数据源的节点源节点只能发送数据不能连接到一个源节点©2006SPSSInc.23关于连接节点：终端节点终端节点是生成输出、图形、表格和模型的节点不能从终端节点连接到任何节点©2006SPSSInc.24设置目录为了方便地存取数据文件或流,您可以将目录设定为自己文件的位置只在本次操作中起作用通过选择菜单“文件”中“设置目录”选项，然后输入或选择工作目录©2006SPSSInc.25Clementine客户端和服务器端Clementine可以运行在客户端和服务器端两种模式下默认的模式是客户端在菜单“工具”中选择“服务器登录”注意Clementine客户端和服务器端版本必须匹配©2006SPSSInc.26帮助菜单帮助主题CRISP-DM帮助教程软件使用辅助选项帮助键盘代替鼠标操作这是什么©2006SPSSInc.27练习：熟悉Clementine的环境熟悉Clementine的环境：菜单帮助练习在数据流区域加入节点：选择变项文件节点从输出选项板中，选择表节点连接两个节点编辑变项文件节点断开节点之间的连接删除节点第三章读取数据文件©2006SPSSInc.29课程简介内容Clementine中可以读取的数据格式读取文本数据文件读取SPSS数据文件使用ODBC读取数据库查看数据Clementine中的数据类型和字段方向保存Clementine数据流目的介绍数据读入Clementine的一些方法©2006SPSSInc.30Clementine中读取数据格式文本文件SPSS数据文件ODBC兼容的数据库SAS数据文件用户输入文件©2006SPSSInc.31文本文件自由字段文本文件是包含分隔符（逗号、制表符、空格或一些其它字符）的数据文件，可以使用变项文件节点读取数据如果数据是列界定的（字段未被分隔，但是始于相同的位置并有固定长度），应该使用固定文本文件导入固定文件节点读取文件SmallSampleComma.txtSmallSampleFixed.txt©2006SPSSInc.32读取自由字段文本文件添加变量文件节点到数据流区域编辑节点指向文件SmallSampleComma.txt通过选择“类型”条目检查结果©2006SPSSInc.33读取固定字段文本文件移动一个固定文件节点到数据流区域编辑这个节点指向文件SmallSampleFixed.txt构造4个新字段，列出变量名和字段长度交互式手动输入©2006SPSSInc.34读取SPSS数据文件添加SPSS文件节点到数据流区域编辑节点，指向文件SmallSample.savSPSS数据文件有特殊的“标签”：变量标签描述字段数值标签附上解释数值的编码©2006SPSSInc.35数据库节点使用数据库节点前必须配置ODBC驱动去指定数据库的位置“控制面板--管理工具”选择ODBC选择“添加…”©2006SPSSInc.36添加ODBC数据源选择合适的ODBC驱动，该驱动应该匹配数据库的名称和版本数据源Holidays数据库文件custandhol.mdb©2006SPSSInc.37使用数据库节点添加并编辑数据库节点：选择数据库节点连接数据源选择“添加新的数据库连接”在数据源列表中选择需要连接的数据源，点击连接选择需要读取的表格©2006SPSSInc.38定义字段类型类型节点指定字段的一系列重要属性指定字段类型、方向和缺失值Clementine可以自动设置变量类型，用户也可以强制指定类型为建立模型，指定字段的方向指定缺失值以及如何处理缺失值变量值检查保证字段值满足一定的设置©2006SPSSInc.39定义字段类型字段类型帮助您理解正在使用的数据，是一些数据准备和所有建模程序所必需的字段类型：连续型–用于描述数值，如0-100或者0.75-1.25内的连续值一个连续值可以是整数、实数或日期/时间离散型–用于当一个具体值的精确数量未知时描述字符串，一旦数据被读取，其类型就会是标记、集合或者无类型集合型–用于描述带有多个具体值的数据（黄、绿、蓝）标记型–用于只取两个具体值的数据（真、假）无类型–用于不符合上述任一种类型的数据或者含有太多元素的集合类型数据©2006SPSSInc.40字段实例化在读取值前数据称为未实例化，字段设置为连续或离散型通过读取值后数据完全实例化，字段的取值和类型都是可知的通过类型节点或数据源节点上的类型条目可以指定数据类型©2006SPSSInc.41字段实例化何时在源节点实例化数据集不太大不打算以后在流中增加字段何时在类型节点实例化数据集较大，而且流在类型节点前就过滤了子集数据在流中被过滤数据在流中被合并或追加在处理过程中导出新的数据字段©2006SPSSInc.42字段类型用变项文件节点读取SmallSampleComma.txt字段实例化将ID字段的类型修改为无类型©2006SPSSInc.43字段方向输入：输入或者预测字段输出：输出或者被预测字段字段两者：既是输入又是输出，只在关联规则中用到无：建模过程中不使用该字段分区：将数据拆分为训练、测试（验证）部分字段方向设置只有在建模时才起作用©2006SPSSInc.44练习：用Clementine读取数据文件数据文件：逗号分隔文本文件charity.csvSPSS数据文件charity.sav具体步骤：打开Clementine在数据流区域添加变项节点编辑该节点连接表节点在数据流区域添加SPSS文件节点编辑该节点（两种方法）连接表节点保存其中一个流为ExerChapter3.str第四章数据质量©2006SPSSInc.46课程计划内容缺失数据定义介绍质量节点使用数据审核节点检查所有字段的分布目的熟悉Clementine中的一些用来发现数据的准确性、完整性和数据整体分布的方法©2006SPSSInc.47缺失数据类型系统缺失值，也被称作nulls，这些值在数据库中被留为空格，而且在类型节点上它们并不被明确设置为“缺失”系统缺失值在Clementine中显示为$null$用户自定义缺失值，也被称作空白blanks，这些值在类型节点上被明确地定义为缺失确定为空白的数据值被标记为特殊对待，而且在大多数计算中被剔除©2006SPSSInc.48SmallSampleMissing.txt©2006SPSSInc.49评估数据质量使用变项文件节点读取数据文件SmallSampleMissing.txt用类型条目实例化数据质量节点连接变项文件节点并输出质量报告取消选择空白(Whitespace)取消选择字符型空值(Emptystring)©2006SPSSInc.50定义缺失值后评估数据质量类型条目选中Children字段“缺失”选项定义空白缺失值99质量节点中选择Whitespace、Emptystring和Blankvalue分解