7(2)-数据挖掘与决策支持

数据挖掘与智能决策技术简介背景二十世纪末以来，全球信息量以惊人的速度急剧增长—据估计，每二十个月将增加一倍。许多组织机构的IT系统中都收集了大量的数据（信息）。目前的数据库系统虽然可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。为了充分利用现有信息资源，从海量数据中找出隐藏的知识，数据挖掘技术应运而生并显示出强大的生命力。背景数据挖掘是八十年代投资AI研究项目失败后，AI转入实际应用时提出的。它是一个新兴的，面向商业应用的AI研究。(AI(ArtificialIntelligence，人工智能))1989年8月，在美国底特律召开的第11届国际人工智能联合会议的专题讨论会上首次出现数据库中的知识发现（KnowledgeDiscoveryinDatabase，KDD）这一术语。随后，在1991年、1993年和1994年都举行KDD专题讨论会，汇集来自各个领域的研究人员和应用开发者，集中讨论数据统计、海量数据分析算法、知识表示、知识运用等问题。最初，数据挖掘是作为KDD中利用算法处理数据的一个步骤，其后逐渐演变成KDD的同义词。数据挖掘定义技术角度的定义数据挖掘（DataMining)是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。与数据挖掘相近的同义词包括：数据融合、数据分析和决策支持等。这一定义包括好几层含义:数据源必须是真实的、海量的、含噪声的;发现的是用户感兴趣的知识;发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题。数据挖掘定义商业角度的定义数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性信息。简言之，数据挖掘其实是一类深层次的数据分析方法。因此，数据挖掘可以描述为:按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证己知的规律性，并进一步将其模型化的有效方法。数据仓库的定义数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。此定义由最为权威的、被称为“数据仓库之父”的WilliamH.Inmon先生给出。数据内容数据库名（数据库内容描述）注意：•信息的完整性；•相关业务人员达成共识。业务人员确定IT人员确定数据结构……...计算机内主题数据库数据标准化决策支持：从数据库到数据仓库到数据集市到……数据仓库的定义数据仓库是决策支持系统（DecisionSupportSystem，DSS，DSS）的基础。在数据仓库中只有单一集成的数据源，并且数据是可访问的。所以与传统数据库相比，在数据仓库环境中DSS分析员的工作将较为容易。数据仓库的组成一个数据仓库的大小一般都是在100GB以上通常，数据仓库系统应该包含下列程序：（1）抽取数据与加载数据（2）整理并转换数据（采用一种数据仓库适用的数据格式）（3）备份与备存数据（4）管理所有查询（即将查询导向适当的数据源）数据仓库的组成数据查询CLAP工具CLAP工具经营数据外部数据详细信息集合信息元数据仓库管理器加载管理器查询管理器信息数据决策OLAP的定义、特点60年代，关系数据库之父E.F.Codd提出了关系模型，促进了联机事务处理(OLTP)的发展(数据以表格的形式而非文件方式存储)。1993年，E.F.Codd提出了OLAP概念，认为OLTP已不能满足终端客户对数据库查询分析的需要，SQL对大型数据库的简单查询也不能满足终端客户分析的要求。客户的决策分析需要对关系数据库进行大量计算才能获得结果，而查询的结果并不能满足决策者提出的需求。因此，E.F.Codd提出了多维数据库和多维分析的概念，即OLAP。OLAP的定义、特点OLAP（On-LineAnalysisProcessing）定义是数据仓库上的分析展示工具，它建立在数据多维视图的基础上。OLAP的主要特点一是在线性(OnLine)，体现为对用户请求的快速响应和交互式操作；二是多维分析(Multi_Analysis)，这是OLAP技术的核心所在。OLAP的定义和特点OLAP与OLTP的区别（1）OLTP主要面向公司职员;OLAP则主要面向公司领导者。（2）OLTP应用主要是用来完成客户的事务处理，其数据基础是操作型数据库，如民航订票系统、银行储蓄系统等等，通常需要进行大量的更新操作，同时对响应时间要求较高;而OLAP是以数据仓库或数据多维视图为基础的数据分析处理，是针对特定问题的联机数据访问和分析，它一般不对仓库数据作修改处理，而只是查询，其应用主要是对客户当前及历史数据进行分析，辅助领导决策，其典型的应用有对银行信用卡风险的分析与预测、公司市场营销策略的制定等，主要是进行大量的查询操作，对时间的要求不太严格。多维数据•Salesvolumeasafunctionofproduct,month,andregionProductMonthDimensions:Product,Location,TimeHierarchicalsummarizationpathsIndustryRegionYearCategoryCountryQuarterProductCityMonthWeekOfficeDay立方体实例TotalannualsalesofTVinU.S.A.DateCountrysumsumTVVCRPC1Qtr2Qtr3Qtr4QtrU.S.ACanadaMexicosum数据立方体的浏览•Visualization•OLAPcapabilities•Interactivemanipulation•客户保留•目标营销•欺诈检测•购物篮分析•客户细分•客户忠诚度•信用打分•信用风险评估•营销组合管理和评估•盈利能力分析•价格优化•客户服务自动化•销售收入和需求预测•利润分析•交叉销售和增量销售•活动管理•客户流失分析•客户服务和问题解决•业绩和能力管理•分销渠道业绩分析•营业厅和服务商业绩分析•流程和质量控制•税收监控可能受益的商业活动数据挖掘解决方案历史数据预测模型新申请者信用等级评价预测模型：用过去的客户数据预测未来理解商业问题性别父亲的教育程度被访者教育程度工作类型城市当前收入水平性别父亲的教育程度被访者教育程度工作类型城市当前收入水平当前财政状况未来信用风险Time1Time2家庭收入销售数量喜欢流行音乐数据挖掘解决方案PreprocessedDataDataTranslatedDataPatterns/ModelsResultsPreprocessingAnalysisInputOutput数据挖掘解决方案主要数据挖掘技术分类Classification预测Prediction细分Segmentation关联Association序列Sequence将您的顾客和客户分类预测未来的销量和欺诈，流失将市场、顾客细分发现那些商品会在一起销售或购买找出时间进程中的模式或趋势决策树规则侦测回归分析聚类分析神经网络序列模式DecisionTreesNeuralNetworksRuleInductionNearestNeighborGeneticAlgorithms数据挖掘主要新技术决策树神经网络规则侦测序列规则基因算法基于层次的聚类方法这类方法不需要预先给定参数（聚类数），但需要终止条件。Step0Step1Step2Step3Step4bdceaabdecdeabcdeStep4Step3Step2Step1Step0agglomerative(AGNES)divisive(DIANA)CURE算法－DataPartitioningandClusterings=50p=2s/p=25xxxyyyyxyxs/pq=5CHAMELEON算法ConstructSparseGraphPartitiontheGraphMergePartitionFinalClustersDataSet客户总列表30%VIP0-1孩子2-3孩子20%VIP4+孩子$50-75kincome15%VIP$75k+income70%VIP$50-75kincome$20-50kincome85%VIPAge:40-6080%VIPAge:20-4045%VIP分类决策树Attributes={Outlook,Temperature,Humidity,Wind}OutlookHumidityWindsunnyrainovercastyesnoyeshighnormalnostrongweakyesPlayTennis={yes,no}打高尔夫球的决策树实例（自顶向下）wageincreasefirstyearworkinghoursstatutoryholidayscontributiontohealthpathwageincreasefirstyear=2.5%2.5%=3636half10=10=44goodgoodgoodgoodgoodbadbad图公司福利条件决策树示例nonefull根据加薪百分比、工作时长、法定节假日、及医疗保险三个属性来判断一个企业的福利状况(good或bad)。对象关系网络网络分析强弱路径自我小群体缺失角色网络分析神经网络线性回归Logistics回归多层神经网络细胞繁殖3.2.2.6神经网络算法人工神经网（ArtificialNeuralNetwork，ANN）是20世纪80年代后期迅速发展起来的人工智能技术，它对噪声数据具有很高的承受能力，对未经训练的数据具有分类模拟的能力，因此在网站信息、生物信息和基因以及文本的数据挖掘等领域得到了越来越广泛的应用。在多种ANN模型中，反向传播（BackPropagation，BP）网络是应用最广的一种。神经元通过非线性函数n维的输入向量x被映射为变量ymk-fweightedsumInputvectorxoutputyActivationfunctionweightvectorww0w1wnx0x1xn神经网络的组成输出节点输入节点隐层节点输入矢量输入矢量:xiwijijiijjOwIjIjeO11))(1(jjjjjOTOOErrjkkkjjjwErrOOErr)1(ijijijOErrlww)(jjjErrl)(基本的BP网络由输入层、输出层和隐层组成。神经网络的拓扑结构神经网络训练之前，需要设计网络拓扑结构。设计网络拓扑的关键是，确定隐层的神经元个数及各神经元初始权值和阈值（偏差）。理论上讲，隐层的神经元数越多，逼近越精确。但实际上，隐层神经元数不宜过多；否则会极大加长训练时间，并造成网络容错能力下降。经训练后的神经网络若其准确性不能被接受，则必须重新进行拓扑设计或改用不同的初始权值和阈值（偏差）。神经网络的训练训练的终止条件获得一组权重值，使得训练集中几乎所有样本都分类正确训练步骤利用随机值对权值进行初始化将训练样本逐一地输入给神经网络，进行训练对于每个神经元将其所有的输入值进行线性求和计算得到总的输入利用激励函数计算其输出值计算误差修正网络权值和阈值（偏差）BP神经网络BP神经网络通过迭代处理一组训练样本，将各样本的网络预测与实际已知类标号进行比较实现学习训练，反向修改网络的权值，使得网络预测与实际类之间的误差平方最小。BP神经网络按照最优训练准则反复迭代，确定并不断调整神经网络结构，通过迭代修改，当误差收敛时学习过程终止。因此，具有分类准确、收敛性好、动态性好和鲁棒性强等优点。BP神经网络存在的问题收敛速度问题BP分类器最大的弱点是其训练速度非常缓慢，难以收敛。尤其是当网络的训练达到一定程度后，收敛更为缓慢。局部极小点问题BP算法采用的是梯度下降法，对一个复杂的网络而言，其误差曲面是一个高维空间中的曲面，其中分布着许多局