数据挖掘基本概念与应用

报告内容数据挖掘的基本概念数据挖掘与统计分析数据挖掘的基本算法数据挖掘实施方法论总结与讨论数据挖掘的基本概念改变未来世界的十大新兴技术《TechnologyReview》（麻省理工学院2002年1月出刊）机器与人脑的接口塑胶晶体管数据挖掘（DataMining）数字权利管理生物测定学（Biometrics）语言识别处理微光学技术（Microphotonics）解开程序代码（UntanglingCode）机器人设计微应用流体学（Microfluidics）什么是数据挖掘？DataInformationKnowledgeWisdom存在太多数据挖掘的定义，但基本上有这样一种描述结构Tofind/discover/extract/dredge/harvest、、、Interesting/novel/useful/implicit/actable/meaningful、、、Information/knowledge/patterns/trends/rules/anomalies、、、Inmassivedata/largedataset/largedatabase/datawarehouse、、、Data+contextInformation+rulesKnowledge+experience为什么会出现数据挖掘？数据爆炸性增长是数据挖掘技术应运而生的根本原因。只见树木，不见森林（Drowningindatabutstarvingforinformation）计算复杂度数据管理问题数据类型的多样性处理大容量数据是数据挖掘技术区别于其他数据分析方法的唯一标志吗？其他数据分析方法：统计学从处理数据的角度看、、、数据规模不同数据来源不同：观测数据（SecondaryAnalysis）VS试验数据（PrimaryAnalysis）数据类型不同（结构化数据、半结构化数据、非结构化数据）从分析思想的角度看更关注实证性分析（EmpiricalAnalysis）而非探索性分析（ExploratoryAnalysis）更关注模型（Model）而非算法（Algorithm）但二者具有相当密切的联系从数据分析的角度，统计学现在是且仍将是数据挖掘最重要的技术支撑和思想源泉更加深入的渗透和交叉（如探索性数据分析，EDA）数据挖掘是数据驱动的探索性分析!数据挖掘：多学科的汇合数据挖掘数据库技术统计学其它学科信息科学机器学习可视化人工智能科学计算数据挖掘是一个过程-“fromdataminingtoknowledgediscoveryindatabase”.U.fayyad,G.P.ShapiroandP.Smyth(1996)数据挖掘过程中的数据预处理数据清洗填充缺失值,修均噪声数据,识别或删除孤立点,并解决数据不一致问题主要分析方法：分箱（Binning）、聚类、回归数据集成多个数据库、数据方或文件的集成数据变换规范化与汇总数据简化减少数据量的同时,还可以得到相同或相近的分析结果主要分析方法：抽样、主成分分析数据离散化数据简化的一部分,但非常重要(尤其对于数值型数据来说)数据挖掘过程中的数据探索探索性数据分析（ExploratoryDataAnalysis,EDA）探索性地查看数据，概括数据集的结构和关系对数据集没有各种严格假定“玩”数据主要任务数据可视化（apictureisworthathousandwords）残差分析（数据＝拟合+残差）数据的重新表达（什么样的尺度－对数抑或平方根－会简化分析？）方法的耐抗性（对数据局部不良的不敏感性，如中位数耐抗甚于均值）常见方法统计量，如均值、方差、根方差、协方差、峰度、偏度、相关系数等统计图，如饼图、直方图、散点图、箱尾图等模型，如聚类什么不是数据挖掘？定量分析（QuantitativeAnalysis）的需要存在企业管理运行的各个侧面或环节，但并非所有的定量分析问题都可以归结到数据挖掘范畴的问题。简单的报表、图表及多维分析仍是日常分析工作的主要内容小样本数据的分析传统统计分析方法更成熟有效，如趋势预测某些特定业务问题无法用数据挖掘算法加以解决，例如资源最优配置问题是个运筹学问题某些物流管理问题或者供应链管理问题是个随机规划问题营销预演本质是个系统仿真问题报告内容数据挖掘的基本概念数据挖掘与统计分析数据挖掘的基本算法数据挖掘实施方法论总结与讨论数据挖掘与统计分析统计学与数据挖掘的联系从处理数据数据挖掘中采用了大量统计学的思想、方法和工具聚类分析（无监督学习过程，统计分析中的主要技术）K-MeansSelfOrganizingMap(SOM)数据分类（有监督学习过程）统计分类技术：距离判别，费雪判别，贝叶斯判别数据挖掘中的分类技术：决策树，神经网络其他方法相关分析主成分分析回归分析序列分析统计学与数据挖掘的区别数据样本数量不同（在统计学中样本数量大于30，则成为大样本）数据来源和质量不同数据挖掘既可以处理结构化数据，也可以处理非结构化和异型数据方法数据挖掘的前提是占有大量数据，统计中的实验设计、抽样设计并不适用有些数据挖掘的分析方法是统计学中没有的，如强调实时分析统计分析方法在对大规模数据处理时占用系统的资源和时间太多，不适宜采用，因此数据挖掘大量采用神经网络、遗传算法等人工智能方法模型（模式）模型（统计学）VS模式（数据挖掘）统计建模强调模型的普适性，数据挖掘强调从数据中发现模式算法统计学强调模型，运算量居于次要地位数据挖掘的精华在于结果的未知性，强调探索性分析，与之对应的是算法而不是模型方法论统计学：以数学为基础，每种方法有严格的证明体系数据挖掘：采用实验方法，不具有很强的严谨性数据挖掘相对于统计学的特点使用数据挖掘工具无须具备太专业的统计知识，处理大量的实际数据更有优势，使得数据挖掘人员可以集中精力在业务建模方面数据挖掘从大型数据库提取所需数据，利用专属计算机软件进行分析，更能满足企业的需求从理论的角度来看，数据挖掘与统计学不同，其目的在于方便企业的末端使用者应用，而非为统计学家提供检验工具报告内容数据挖掘的基本概念数据挖掘与统计分析数据挖掘的基本算法数据挖掘实施方法论总结与讨论数据挖掘的基本算法几个基本概念模型（Model）vs模式（Pattern）数据挖掘的根本目的就是把样本数据中隐含的结构泛化（Generalize）到总体（Population）上去模型：对数据集的一种全局性的整体特征的描述或概括，适用于数据空间中的所有点，例如聚类分析模式：对数据集的一种局部性的有限特征的描述或概括，适用于数据空间的一个子集，例如关联分析算法（Algorithm）：一个定义完备（well-defined）的过程，它以数据作为输入并产生模型或模式形式的输出描述型挖掘（Descriptive）vs预测型挖掘（Predictive）描述型挖掘：对数据进行概括，以方便的形式呈现数据的重要特征预测型挖掘：根据观察到的对象特征值来预测它的其他特征值描述型挖掘可以是目的，也可以是手段几类基本的挖掘算法关联规则（模式、描述型）发现数据集中的频繁模式例如：buy(x,”diapers”)buy(x,”beers”)[0.5%,60%]分类与预测（模型、预测型）发现能够区分或预测目标变量（唯一的）的规则或者函数分类的目标变量一般是类别型的，而预测则是数量型的，并不必然带有任何时间延续型的暗示例如：股票市值的预测，病人病情的判断聚类（模型、描述型）对数据分组以形成新类，类标记是未知的例如：市场细分孤立点探测（OutlierDetection）（模式、预测型）分析异常或噪声数据的行为模式例如：欺诈检测广东发展银行信用卡中心的数据挖掘模型申请评分卡(分类模型、Logistic回归算法)计算申请信用卡的人在将来产生坏账的概率自变量是离散型变量评分需要进行标准化处理行为评分卡(分类模型、Logistic回归算法)包括：拖欠、催收、销售等自变量是连续型变量广东移动数据挖掘项目中的数据挖掘算法客户流失(分类模型、Logistic回归算法)彩铃WAP购买倾向预测(分类模型、Logistic回归算法)彩信增量销售预测(分类模型、Logistic回归算法)彩铃用户流失预测(分类模型、Logistic回归算法)客户价值增长预测(分类模型、Logistic回归算法)竞争对手流失预测(分类模型、Logistic回归算法)集团客户分群(聚类模型、K-Means算法)集团客户级别打分(分类模型、Logistic回归算法)产品关联分析(关联规则)个人客户分群分析(聚类模型、K-Means算法)集团客户流失预警模型(AHP方法+Logistic回归算法)……客户分群(聚类模型、K-Means算法)客户流失(分类模型、Logistic回归算法)潜在用户定位(分类模型、Logistic回归算法)商城的交叉销售(关联规则)产品收入预测（时间序列的预测方法）……腾讯公司中的数据挖掘算法分类问题的基本定义给定一数据集合（训练集）数据记录由一系列变量组成其中有一个变量是目标分类标签寻找一模型，使目标分类变量值是其他变量值的一个函数利用上述函数，一未知分类变量值的数据记录能够尽可能准确地被判定到某一类别中去一般会有另一独立地数据集（测试集）用以验证所构建分类函数的准确性，避免过度拟合分类过程示意NAMERANKYEARSTENUREDMikeAssistantProf3noMaryAssistantProf7yesBillProfessor2yesJimAssociateProf7yesDaveAssistantProf6noAnneAssociateProf3noNAMERANKYEARSTENUREDTomAssistantProf2noMerlisaAssociateProf7noGeorgeProfessor5yesJosephAssistantProf7yes训练集分类学习训练集分类器NAMERANKYEARSTENUREDJefProfessor4?IFrank=‘professor’ORyears6THENtenured=‘yes’JefisYES!回顾简单的一元线性回归问题y=b0+b1x+uy称为被解释变量或者因变量，是一个连续变量x称为解释变量或者自变量，是一个连续变量b0、b1称为回归系数u是随机误差，一般假设服从标准正态分布yxy=b0+b1x+u........Logistic回归进行分类和预测LOGISTIC回归是一种特殊的回归模型，与古典的线性回归模型不同，其响应变量（ResponseVariable）是一分类变量（CategoricalVariable）而非连续变量（ContinuousVariable）。响应变量是一个二值化的变量，通常以1\0表示某一事件发生或者不发生。应用Logistic回归得到的概率p通常表示在将来某段时间后某一事件发生的概率。Odds:目标事件发生的数量/非目标事件发生的数量.Oddsratio=prob(目标事件)/prob(非目标事件)=p/(1-p)p=prob(目标事件)prob表示事件发生的概率Logit:logofoddsratio=log(p/(1-p))Logistic回归:拟合下面的模型logit=a0+a1*X1+…+ak*Xkp=prob(目标事件)=exp(logit)/(1+exp(logit))p的取值范围:[0,1]nnnnxbxbbxbxbbeep......11011010.00.20.40.60.81.0p流失类模型案例建模目的：预测某一段时间之后客户流失的概率。确定时间窗口：确定目标变量：定义在DataWindow中正常而在F