clementine数据挖掘基础培训总结

Clementine基础培训第一部分介绍Clementine数据挖掘软件的基本操作和环境，学习如何使用Clementine读取、处理数据©2006SPSSInc.2培训内容第一章Clementine简介第二章读取数据文件第三章数据质量第四章数据处理第五章寻找数据之间的关系第一章Clementine简介©2006SPSSInc.4•1968成立•1993,Nasdaq上市•总部:Chicago•遍布全球60多个国家2000多名员工•超过250,000家企业使用SPSS•2百多万名授权用户SPSS–世界级软件公司Chicago©2006SPSSInc.5SPSS银行业用户TheWorldBankGroup©2006SPSSInc.6SPSS保险业用户©2006SPSSInc.7SPSS电信业用户©2006SPSSInc.8Clementine系统结构图©2006SPSSInc.9Clementine简介实用的数据挖掘方法论——CRISP－DM图形化的操作环境，提高了易用性、减低了入门要求和学习时间率先引入可视化建模思想和数据展现概念Client/Server的结构提高了处理大数据量的能力DataPreparation的优越功能多种（Telecom、Fraud、CRM）Clementine应用模板（CATs)有多家合作伙伴开发行业应用方案，Siebel、Sybase等公司已选用Clementine作为其CRM和BI方案的数据挖掘平台。©2006SPSSInc.10Clementine特点支持图形化界面、菜单驱动、拖拉式的操作提供丰富的数据挖掘模型和灵活算法具有多模型的整合能力，使得生成的模型稳定和高效数据挖掘流程易于管理、可再利用、可充分共享提供模型评估方法数据挖掘的结果可以集成于其它的应用中满足大数据量的处理要求能够对挖掘的过程进行监控，及时处理异常情况具有并行处理能力支持访问异构数据库提供丰富的接口函数，便于二次开发挖掘结果能够转化为主流格式的适当图形©2006SPSSInc.11Clementine操作简介内容熟悉Clementine中的工具和面板介绍可视化编程的思想目的初步了解Clementine的功能数据课程配有相应的虚拟的数据文件©2006SPSSInc.12Clementine用户界面数据流区域工具栏菜单栏选项板区节点数据流，输出和模型管理器项目窗口©2006SPSSInc.13可视化编程节点一个图标代表在Clementine中进行的一个操作工作流一系列连接在一起的节点选项板包含一系列不同功能的图标©2006SPSSInc.14选项板源节点用来将数据读入Clementine中记录选项节点在记录上进行操作一条记录是一种“情形”或一“行”数据字段选项节点在字段上进行操作一个字段是一个变量图形节点在建模之前和之后用来可视化数据建模节点代表有效建模算法注意：建模算法产生生成的模型©2006SPSSInc.15在下面一部分…举例：增加一个节点移动一个节点编辑一个节点重新命名一个节点复制一个节点删除一个节点注释一个节点保存一个节点重新载入一个节点连接节点删除节点连接获得帮助©2006SPSSInc.16增加一个节点在选项板上双击节点，自动放置节点到数据流区域注意：它会自动地连接到“中心”节点将节点从选项板拖放到数据流区域中在选项板上点击一个节点，然后在数据流区域中点击一下未选择选择当节点在选项板中被选中后，会变成淡蓝色©2006SPSSInc.17编辑一个节点在节点上右击，展开一个节点点击“编辑”在菜单上还可以选择连接、断开连接、重命名、注释、复制、删除、载入、保存等操作©2006SPSSInc.18连接节点使用鼠标中键来连接节点在数据流区域上，把一个节点连接到另一个上，可以通过鼠标中间键点击和拖放来完成（如果您的鼠标没有中间键，可以通过按住“Alt”键来模拟这个过程）通过双击来连接节点双击选项板上的节点，自动把新节点连接到数据流区域中的“中心”节点上使用鼠标中键未选中的节点（灰白色）被选中的节点（淡蓝色）©2006SPSSInc.19删除节点之间的连接在连接箭头的头部按住鼠标右键选择“删除连接”©2006SPSSInc.20关于连接节点：源节点源节点是连接到初始数据源的节点源节点只能发送数据不能连接到一个源节点©2006SPSSInc.21关于连接节点：终端节点终端节点是生成输出、图形、表格和模型的节点不能从终端节点连接到任何节点©2006SPSSInc.22设置目录为了方便地存取数据文件或流,您可以将目录设定为自己文件的位置只在本次操作中起作用通过选择菜单“文件”中“设置目录”选项，然后输入或选择工作目录©2006SPSSInc.23Clementine客户端和服务器端Clementine可以运行在客户端和服务器端两种模式下默认的模式是客户端在菜单“工具”中选择“服务器登录”注意Clementine客户端和服务器端版本必须匹配©2006SPSSInc.24帮助菜单帮助主题CRISP-DM帮助教程软件使用辅助选项帮助键盘代替鼠标操作这是什么第二章读取数据文件©2006SPSSInc.26课程简介内容Clementine中可以读取的数据格式读取文本数据文件读取SPSS数据文件使用ODBC读取数据库查看数据Clementine中的数据类型和字段方向保存Clementine数据流目的介绍数据读入Clementine的一些方法©2006SPSSInc.27Clementine中读取数据格式文本文件SPSS数据文件ODBC兼容的数据库SAS数据文件用户输入文件©2006SPSSInc.28文本文件自由字段文本文件是包含分隔符（逗号、制表符、空格或一些其它字符）的数据文件，可以使用变项文件节点读取数据如果数据是列界定的（字段未被分隔，但是始于相同的位置并有固定长度），应该使用固定文本文件导入固定文件节点读取文件SmallSampleComma.txtSmallSampleFixed.txt©2006SPSSInc.29读取自由字段文本文件添加变量文件节点到数据流区域编辑节点指向文件SmallSampleComma.txt通过选择“类型”条目检查结果©2006SPSSInc.30读取固定字段文本文件移动一个固定文件节点到数据流区域编辑这个节点指向文件SmallSampleFixed.txt构造4个新字段，列出变量名和字段长度交互式手动输入©2006SPSSInc.31读取SPSS数据文件添加SPSS文件节点到数据流区域编辑节点，指向文件SmallSample.savSPSS数据文件有特殊的“标签”：变量标签描述字段数值标签附上解释数值的编码©2006SPSSInc.32数据库节点使用数据库节点前必须配置ODBC驱动去指定数据库的位置“控制面板--管理工具”选择ODBC选择“添加…”©2006SPSSInc.33添加ODBC数据源选择合适的ODBC驱动，该驱动应该匹配数据库的名称和版本数据源Holidays数据库文件custandhol.mdb©2006SPSSInc.34使用数据库节点添加并编辑数据库节点：选择数据库节点连接数据源选择“添加新的数据库连接”在数据源列表中选择需要连接的数据源，点击连接选择需要读取的表格©2006SPSSInc.35定义字段类型类型节点指定字段的一系列重要属性指定字段类型、方向和缺失值Clementine可以自动设置变量类型，用户也可以强制指定类型为建立模型，指定字段的方向指定缺失值以及如何处理缺失值变量值检查保证字段值满足一定的设置©2006SPSSInc.36定义字段类型字段类型帮助您理解正在使用的数据，是一些数据准备和所有建模程序所必需的字段类型：连续型–用于描述数值，如0-100或者0.75-1.25内的连续值一个连续值可以是整数、实数或日期/时间离散型–用于当一个具体值的精确数量未知时描述字符串，一旦数据被读取，其类型就会是标记、集合或者无类型集合型–用于描述带有多个具体值的数据（黄、绿、蓝）标记型–用于只取两个具体值的数据（真、假）无类型–用于不符合上述任一种类型的数据或者含有太多元素的集合类型数据©2006SPSSInc.37字段实例化在读取值前数据称为未实例化，字段设置为连续或离散型通过读取值后数据完全实例化，字段的取值和类型都是可知的通过类型节点或数据源节点上的类型条目可以指定数据类型©2006SPSSInc.38字段实例化何时在源节点实例化数据集不太大不打算以后在流中增加字段何时在类型节点实例化数据集较大，而且流在类型节点前就过滤了子集数据在流中被过滤数据在流中被合并或追加在处理过程中导出新的数据字段©2006SPSSInc.39字段类型用变项文件节点读取SmallSampleComma.txt字段实例化将ID字段的类型修改为无类型©2006SPSSInc.40字段方向输入：输入或者预测字段输出：输出或者被预测字段字段两者：既是输入又是输出，只在关联规则中用到无：建模过程中不使用该字段分区：将数据拆分为训练、测试（验证）部分字段方向设置只有在建模时才起作用第三章数据质量©2006SPSSInc.42课程计划内容缺失数据定义介绍质量节点使用数据审核节点检查所有字段的分布目的熟悉Clementine中的一些用来发现数据的准确性、完整性和数据整体分布的方法©2006SPSSInc.43缺失数据类型系统缺失值，也被称作nulls，这些值在数据库中被留为空格，而且在类型节点上它们并不被明确设置为“缺失”系统缺失值在Clementine中显示为$null$用户自定义缺失值，也被称作空白blanks，这些值在类型节点上被明确地定义为缺失确定为空白的数据值被标记为特殊对待，而且在大多数计算中被剔除©2006SPSSInc.44SmallSampleMissing.txt©2006SPSSInc.45自动定义缺失值在类型条目对话框中：右击菜单中选中“全选”再右击选中设置“缺失”选择“开”©2006SPSSInc.46数据审核打开数据流：数据稽查.str使用制表节点输出表格：共有4117条记录使用数据审核节点连接类型节点检查数据整体的分布抽样条目选择抽样当记录数多于5000，这样可以检查所有的记录执行数据审核节点输出检查结果©2006SPSSInc.47输出检查结果点击小图看完整的分布图或直方图第四章数据处理介绍©2006SPSSInc.49课程计划内容介绍选择节点处理记录介绍几个字段处理节点：过滤、字段重排、导出和重新分类介绍如何自动生成字段和记录处理节点目的学会使用Clementine中一些可用的数据处理技术，并使用这些技术清洗和精炼数据©2006SPSSInc.50数据处理技术CLEM（ClementineLanguageforExpressionManipulation）是一种功能强大的语言，用来分析操作Clementine中使用的数据用在导出、选择、过滤、平衡和报告等节点这些函数可以导出新的值、根据条件选择记录、比较和评估数据、插入数据注意：为了将错误减少到最小，当使用CLEM时经常需要为字段名加上单引号©2006SPSSInc.51表达式构造器尽量不要手动输入CLEM表达式©2006SPSSInc.52选择节点打开数据流：选择节点.str使用选择节点连接类型节点选择符合条件“INCOME20000”的记录选择模式“包含”使用分布节点分别连接类型节点和选择节点生成字段RISK的分布比较选择前后的分布©2006SPSSInc.53两个分布的比较选择前选择后©2006SPSSInc.