数据预测统计分析产品 IBM SPSS Statistics 实例应用讲解

IBMSPSSStatistics是目前世界上主流的数据预测统计分析软件之一，本文从IBMSPSSStatistics的基本概念入手，对其在数据分析流程中的各个应用进行了简单介绍，通过针对一个实际问题的分析，并结合典型算法，介绍使用IBMSPSSStatistics进行数据分析的基本流程。读者可以在较短时间内了解如何使用IBMSPSSStatistics进行建模及数据预测分析。IBMSPSSStatistics简介及基本概念介绍SPSSStatistics统计分析预测软件是一款在调查统计行业，市场研究，医学统计，政府和企业的数据分析应用中久享盛名的统计分析工具，是世界上最早的统计分析软件，全球约有28万家产品用户，他们分布于通讯，医疗，银行，证券，保险，制造，商业，市场研究，科研教育等多个领域和行业，是目前世界上应用最广泛的专业数据预测统计分析软件。在2009年IBM收购SPSS公司之后，IBMSPSSStatistics成为IBM商业智能分析优化解决方案的重要组成部分，最新的发布版本是19.0多国语言版。基本概念典型的IBMSPSSStatistics数据编辑器界面如下：图1IBMSPSSStatistics数据编辑器界面变量视图：变量视图用于管理变量的属性，包括变量名称，类型，标签，缺失值，度量标准等10个属性。数据视图：数据视图用于管理录入的数据，一行表示一条记录在不同变量下的值，一列表示相同的变量在不同记录中的值。图2变量类型定义界面变量类型：IBMSPSSStatistics主要包括3种类型，分别是：数值型，字符型和日期型，根据不同的显示方式，数值型又被细分为6种，为了便于统计计算，通常尽可能将变量类型定义为数值型的。度量标准：在IBMSPSSStatistics中，按照对事物描述的精确程度，可以将变量分为3种度量标准，度量（Scale），名义（Nominal），序号（Ordinal），因为不同的变量度量标准适用不同的统计模型，因此正确定义一个变量的度量标准很重要。度量（Scale）变量：通常也称为连续变量，表示变量的值通常是连续的，无界限的，如员工收入，企业销售额等。名义（Nominal）变量：通常也称为无序分类变量，表示变量的值是离散的，相对有限个数的，通常变量值的个数不超过10个，但值之间没有顺序关系的，如性别。序号（Ordinal）变量：通常也称为有序分类变量，表示变量的值是离散的，相对有限个数的，但值之间是有顺序关系的，如教育水平取值有：1—8年，2—10年，3—15年，这些值之间存在顺序大小关系。图3变量值标签定义界面变量值标签：在IBMSPSSStatistics中，可以对分类变量进一步说明每一个值的具体意义或者标签值，然后在数据视图中，可以通过菜单：视图-值标签，来切换显示变量的值，或者值的具体标签意义。图4缺失值定义界面缺失值：在一个大型调查中，可能有一些选项为不知道或者拒答，这就需要把这个值定义为缺失值，或者一些数据录入时发生丢失，就默认定义为系统缺失值。数据分析方法论介绍任何一个数据分析预测项目，按照整个分析过程的结构来看，都可以大致分解成7个阶段：计划阶段，数据收集，数据获取，数据准备，数据分析，结果报告，和模型发布预测阶段。计划阶段在该阶段需要弄清楚以下几个问题，以减少盲目的分析避免资源浪费：确定研究问题建立项目预算确定研究范围及确定研究总体和个体确定样本的抽取方法分析评估所需样本量确定数据的收集方式确定与研究问题相关的数据确定研究问题的分析方法和分析工具数据收集阶段如果已有现成数据则可以不必再进行数据收集，数据收集的方式有很多种，可以是电话访问，可以是面谈收集，也可以是拦截式访问，如果是从头进行数据收集，需要有一份标准的问卷，问题设计不仅要相关，还要能够从中得出有意义的结论。数据获取阶段该阶段的目的是将分散的，原始格式不同的数据读入分析工具中，使分析工具可以对数据进行分析。数据准备阶段该阶段的主要任务是：清理数据以保证数据的准确性对数据进行必要的转换，如生成新变量，将连续变量离散化，将字符变量数值化等填充缺失数据对数据进行合并，汇总等数据分析阶段利用各种数据分析方法对数据进行分析，得出结论，该阶段又可分为：预分析：包括概括性统计描述和探索性统计描述推断两部分，前者是使用统计图和统计表对数据进行更好的理解，而后者则基于对数据的理解开始尝试进行分析，以寻找最终分析模型的雏形。精确分析：基于上一步得到的各种信息，开始尝试拟合最佳的统计模型，以寻求对数据中所蕴含信息的最合理解释。结果报告阶段结果报告的目的是将整个数据分析项目的结果以图，表，文字的形式表达出来，使得决策者能够快速理解，基于此分析结果做出决策。模型发布预测阶段结果报告仅仅是对基于历史数据所建立的模型加以阐述，当需要利用该模型进行预测时，具体做法可以是在分析软件中加以预测，也可以将生成的模型编译成单独的模块，整合到应用平台中。IBMSPSS系列产品线对数据分析流程的支持IBMSPSS系列产品线对数据分析的各个阶段均有相应的产品支持，例如在计划阶段可以用IBMSPSSStatistics中的ComplexSample模块设定样本抽取计划；在数据收集阶段可以用IBMSPSSDataCollection产品来进行调查问卷设计和数据收集；在数据获取阶段，IBMSPSSStatistics可以通过ODBC读写绝大多数业界常用的数据库，或者使用文件合并，文件重构等操作对数据进行整合；在数据准备阶段可以用IBMSPSSStatistics中的StatisticsBase，MissingValues，PrepareDataforModel等模块来进行必要的整理和修补；数据分析阶段是IBMSPSSStatistics的核心功能，包含很多业界通用和最新的统计模型；而IBMSPSSStatistics同样提供清晰明了的统计图，统计表来很好的支持结果报告阶段的需求；在模型发布预测阶段，IBMSPSSStatistics的评分向导功能提供了用已知模型进行预测的功能。总之，以上提到的各个阶段均可以在IBMSPSS系列产品线中获得支持，而IBMSPSSStatistics作为一个核心平台，在整个数据分析，解决方案实施中起着关键作用。IBMSPSSStatistics实例应用分析在大多数分析过程中，可能不会经历所有数据分析的流程，例如，根据分析的目的，所需数据已经存在于日常工作中，则不必再经历数据收集和计划阶段，而直接进入数据获取阶段。本节针对一个实际问题的分析，并结合典型线性模型算法，介绍使用IBMSPSSStatistics进行数据分析的基本过程。问题描述某虚拟公司的人力资源部门中有以Excel表存储的员工信息，包括员工代码，性别，出生日期，教育水平（以年计），雇佣类别，当前薪金，起始薪金，雇佣时间，经验（以月计），是否少数民族等信息，如图5所示。图5EmployeeData.xls概要信息现在公司希望通过已有数据来分析员工当前薪金与其他变量之间的关系，并建立一个预测模型，从而能够通过其他变量来预测员工当前薪金，可以用于公司人员成本估计和控制，以及新员工薪资定位等问题。数据获取IBMSPSSStatistics支持两种方式读取Excel文件，一种是直接选择菜单：文件-打开-数据，在文件类型中选择Excel，打开文件，如图6，因为Excel第一行是变量名，因此勾选“从第一行数据读取变量名”的选项，然后单击确定即可读入数据。图6打开Excel数据另外一种方式是选择菜单：文件-打开数据库-新建查询，通过ODBC的方式打开Excel文件，这种方式可以更灵活的选择导入数据的变量个数及数据记录个数，并且可以支持多个数据表之间的关联导入，详细操作可以参考IBMSPSSStatistics联机帮助。数据准备IBMSPSSStatistics在读入Excel数据时，会自动根据变量值的个数和特点将变量定义为度量（Scale）变量，或者名义（Nominal）变量，但是变量值标签，缺失值等信息不会自动设置，但提供了非常方便的用户界面来设置变量属性，选择菜单：数据-定义变量属性，如图7可以选择需要定义变量属性的变量，可以一次定义多个变量。在这个页面，我们用自动生成变量值的标签来生成性别和教育水平的值标签；手动设置雇佣类别中的值标签为，0=缺失值，1=普通职员，2=高级职员，3=经理，并勾选上0作为缺失值；因为教育水平和雇佣类别是有等级大小之分的，所以可以将这两个变量定义为序号（Ordinal）变量，单击确定完成操作。图7定义变量属性选择页面字符串变量通常不易于计算，而且很多模型需要变量用数字变量来计算，因此IBMSPSSStatistics提供了自动将字符串变量转换成数字变量的功能，选择转换菜单下的自动重新编码功能如图8，选择“性别”作为需要转换的字符串变量，在新名称中输入Gender，单击确定执行后，将会产生一个新的数值型变量Gender，其值为0和1，相对应的值标签为原来的字符串值，这样后续就可以用这个新变量来进行数值运算。图8自动重新编码功能页面数据预分析经过数据准备阶段，就可以对数据进行必要的预分析，以便决定用什么样的模型更为合适，IBMSPSSStatistics的图形菜单下提供了多种图形显示方式。一般来说针对连续变量，可以先使用散点图来观察预测变量与其他连续型变量的关系，选择菜单：图形-图形画板模板选择程序，这个功能能够根据变量之间的特点自动为用户推荐一些适用的模型，现将连续型变量：当前薪金，起始薪金，雇佣时间，经验一起选上之后，可以看到只有两种图形适合描述这些变量之间的关系，选择散点图矩阵来进行描述这些变量的关系。图9图形画板模板选择程序页面通过图10可以看出，当前薪金与起始薪金的数值关系大概分布在一条45度的斜线上，当前薪金与雇佣时间的数值关系主要分布在一条水平直线上，同时当前薪金的数值分布大概服从半正态分布的图形，因此可以推断用线性模型作为预测模型。图10连续型变量之间的散点矩阵图应用自动化线性建模进行精确分析一般用户经常会被统计分析软件中的复杂的参数设置而头疼，即使知道了选择合适的模型，也不知道该如何调整参数来进行使用，针对于此，IBMSPSSStatistics19加入了一个新的功能：自动化线性建模，这是对最经常使用的线性模型加以改进，让用户输入最少的参数而自动进行建立线性模型的功能，选择菜单：分析-回归-自动线性建模，在目标栏中设置当前薪金变量作为模型的目标预测变量，如果对剩余变量不能确定哪些变量与当前薪金变量有关系，可以全部选为输入预测变量，自动化线性建模会自动选择合适的预测变量来作为线性模型的输入变量，如图11，单击运行按钮来产生线性模型。图11自动线性建模设置页面结果报告分析在IBMSPSSStatistics的输出查看器中，双击产生的线性模型就可以打开一个模型浏览器来具体观察分析这个线性模型的情况。从图12模型概要页中可以看出，产生的线性模型的预测准确度达到了80.3%，说明这个模型的预测准确度还是比较高的。图12自动线性模型浏览器模型概要在如图13的预测变量重要性页面中可以看到，起始薪金与当前薪金的关系最为密切，重要性也最高，接下来重要的是雇佣类别，而最不重要的是出生日期，可以看出，这与人们的一般经验也是相符合的。图13自动线性模型预测变量重要性残差是指预测出来的值与实际值之间的差距，在图14中描述的残差页面，可以看到，该预测模型的残差直方图比较好的接近与正态分布曲线图，而线性模型的残差就是基于正态分布模型的假设，通过此页面也可以看出前面在离散图进行预分析得出的结论是正确的，可以用线性模型较好的来进行当前薪金的预测。图14自动线性模型的残差比较图模型预测应用通过之前的步骤已经产生了一个线性模型来预测当前薪金的值，如果需要将这个模型保存出来以便对今后的数据进行预测应用，可以在模型浏览器中，选择：文件-导出PMML，将该模型导出为一个名为：预测当前薪金的线性模型.zip的文件，