数据挖掘现状

数据挖掘：中国互联网未来的十年门户解决了web0.5时代的信息匮乏；Google解决了web1.0时代的信息泛滥；Fackbook解决了web2.0时代的社交需求；未来是谁的十年？展望web3.0时代，当高效的社交网络趋于信息量爆炸，我们庞大的社交关系也需要一个Google来处理，那就是下一个十年，数据挖掘的十年，网络智能的十年。数据挖掘：互联网阶段性产物数据挖掘之所以在近几年颇受关注与互联网发展的阶段有关。随着网页的增多，用户量达到一定规模，就产生了大量用户和网页应用交互的行为，这些数据实际上非常有意义。互联网也因此形成了两条主线结构。一种是以信息为对象的，还有一种是以人为对象。但是人与信息之间不是割裂的，而是时时刻刻交织在一起，而且信息是通过人流动的，人也在流动的信息中构建新的关系，这催生了如Facebook这样类型的网站。数据挖掘被频频提及，并不是资本操作的结果，而是随着互联网发展的进一步深化，原本被大家忽略的数据挖掘的价值逐渐凸显，如何使广告投放更加有效，增加广告投放ROI，如何提高网站的转化率以及用户再次购买的能力，这些都需要数据挖掘在背后做支撑，因此这个领域逐渐被大家重视。国外数据挖掘的发展要成熟许多。基于历史悠久的邮购业务，国外公司具备目录式的用户库，可以进行数据挖掘。随着互联网的出现，又自然而然过度到网络数据挖掘的阶段。但是中国在互联网出现之前，没有相应的用户库基础，大家对它还没有形成清晰明确的认识，专业人才匮乏，大学里也没有开设数据挖掘的专业。从事数据挖掘的人员，我个人认为要备有一定的统计学、社会调查等方面的基本素质，而且要充满好奇心。获取数据并不困难，关键是要具有能挑出金子的能力。比如像微博，通过用户大量的互动行为，产生人与信息的交流，交织，不断变化着向前推进。我发一条微博，被评论，然后被转发，再次被转发，有时候会产生类似蝴蝶效应的情况。数据挖掘可能帮助企业更好的预测信息，甚至还有人在互联网上通过数据挖掘，得出2012要毁灭的结论。数据挖掘：从垃圾里捡金子数据挖掘的前提是数据量足够庞大。这种大数据是非常诱人的，通过分析可以发现许多含金量很高的信息和趋势。目前获得用户数据的方式大致有两种。一种是通过和电信运营商合作，在路由器上截取全网数据。这种方式能够在最大限度上掌握用户数据，但是这种全样本在操作上存在问题，国外一般采用以抽样小样本数据推向全局的做法。另一种方法是以cookie的方式植入到用户的机器里，通过连续性的跟踪，生成用户行为的信息流，经过对这些信息的分析，将有效的广告推送给用户。这种方法的技术不断提高，从文本到动画，越来越难被用户清除，因此可以更加完整地呈现用户在互联网上的行为。这两种不同的获取数据的方法并没有优劣之分，抽样数据对于一些现象或者结果的预测并不一定低于全样本数据。获得全样本数据的代价非常大，如果全样本数据没有进行很好的分解，那么就是垃圾数据而已。在数据分析结果与预期不符合的情况下，首先要看模型是否设计得合理。比如我经常会遇到自身网站的排名和第三方检测的排名很不一样，这其中有很大程度是因为数据筛选过滤以及模型的差异。通过不同的方法获得的数据结果会有不同，算法不同，实现方法也都会导致数据结果的差异性。针对两种不同的数据获取方式的数据分解，采用cookie的会更加容易。特别是对于像Baidu这类公司，用户的行为基本覆盖了它的网络广告范围，因此更容易形成对用户的连续印象。在这种情况下，如果掌握了全网的用户，就可以对每一个用户的特点进行描绘，从而给用户打上相应的标签。为每一位用户定义自身标签是一个非常重要的过程。用户的行为在不断变化，因此在标签老化后，需要进行定期的更新管理，一般三个月更新一次标签。在贴标签的时候，需要对分类进行细化。我曾经看见过将一组用户命名为“农林牧副渔”的情况，这是非常可笑的，这种标签对于研究消费者毫无意义，不能起到指导营销的作用。通过获取数据、分解数据以及将数据赋予标签意义的三个步骤，就可以基本上完成数据挖掘的过程。这些经过筛选的“金子”可以应用各种领域。例如广告投放，虽然互联网广告已经比电视广告更加精确，但是仍然存在着高度浪费的情况。实际上很多广告投放仍然是不精确的，因此先要判断用户的类型，才能决定向其推送广告的类型。此外，例如电子商务网站就可以根据不同的用户类型，将网站页面重组，把相应的内容推送给用户，使得电子货架体系随时根据每个人发生变化。数据挖掘不是以单纯的报告形式存在，而是具有非常广泛的市场应用潜力。数据挖掘行业还未出现领导者在数据挖掘与市场营销结合方面，我曾经做过一个关于红孩子电子商务网站的案例，但其实很难定义它是否成功。经过研究，我们的结果是：红孩子通过我们做广告投放，每获得一个有效客户的成本是通过其他渠道的好几倍。有趣的是，用户的购买率却非常高，ROI又比其他公司高许多。我认为这是一个好的案例，因为我们的技术只是帮助客户标定一个用户，在众多用户中寻找到目标客户是非常不容易的，这就导致单位用户获取成本非常高，但是将他引到红孩子的电商平台后，重复购买率却非常高。这种情况与中国目前数据挖掘还不成熟有关。虽然很多公司都对外宣称能够通过大量数据挖掘，达到广告精准营销，但是我并不认为在数据挖掘行业有某家公司已经确立了决定的领先地位，但是有很多公司在这方面或者结合云结算等领域已经颇有建树。数据挖掘的基础在于数据量的大小和质量。例如淘宝、阿里云等所掌握的数据量都是非常巨大，百度和谷歌会更大，电信运营商的数据量更是不可想象，甚至一些网络广告公司也可以截取网民的全部数据。每个公司从不同角度获取数据，本身就使得结果具有很大差异性。其次，数据服务的对象和产品也使得结果有出入。因此很难说在整个数据挖掘的领域，已经有成熟的市场领导者或者佼佼者不能被超越。也许这个看法是错误的，但是我认为中国的数据挖掘发展还不成熟，甚至单单将新浪微博的数据挖掘做好就可以形成一个特别庞大的公司。越来越多的公司认识到数据的重要性，同时越来越多的资本也促进了行业发展壮大，一些互联网集团都在加强自己的数据研究和应用水平。例如阿里巴巴的云服务系统，其中很重要的就是数据服务，一些专门做网站流量统计的公司都被阿里巴巴收购，后者在不断巩固自己在数据领域的领先地位。淘宝也新近推出了一些针对数据应用的可视化产品。一些小公司也利用微博的开放平台，获取和挖掘数据，开发出很多有趣的应用产品。在产业链层面，国外数据发掘的产业链，分工非常明晰。但是中国的现状是，大而全，想延伸和覆盖产业链各个环节。但是随着竞争的加剧，以及越来越多公司的加入，整个行业会逐步分化，慢慢形成一个相对成熟的台式。因此，国内数据挖掘要达到相对成熟的发展阶段还需要很长时间和很大努力。采访/撰文：李赛，刘向清2012-04-0722:48:27职业规划中国网编写职业介绍数据挖掘(DataMining)就是从大量数据中发现潜在规律、提取有用知识的方法和技术。因为与数据库密切相关，又称为数据库知识发现(KnowledgeDiscoveryinDatabases，KDD)，就是将高级智能计算技术应用于大量数据中，让计算机在有人或无人指导的情况下从海量数据中发现潜在的，有用的模式(也叫知识)。广义上说，任何从数据库中挖掘信息的过程都叫做数据挖掘。从这点看来，数据挖掘就是BI（商业智能）。但从技术术语上说，数据挖掘(DataMining)特指的是：源数据经过清洗和转换等成为适合于挖掘的数据集。数据挖掘在这种具有固定形式的数据集上完成知识的提炼，最后以合适的知识模式用于进一步分析决策工作。从这种狭义的观点上，我们可以定义：数据挖掘是从特定形式的数据集中提炼知识的过程。数据挖掘往往针对特定的数据、特定的问题，选择一种或者多种挖掘算法，找到数据下面隐藏的规律，这些规律往往被用来预测、支持决策。数据挖掘的主要功能1．分类：按照分析对象的属性、特征，建立不同的组类来描述事物。例如：银行部门根据以前的数据将客户分成了不同的类别，现在就可以根据这些来区分新申请贷款的客户，以采取相应的贷款方案。2．聚类：识别出分析对内在的规则，按照这些规则把对象分成若干类。例如：将申请人分为高度风险申请者，中度风险申请者，低度风险申请者。3．关联规则和序列模式的发现：关联是某种事物发生时其他事物会发生的这样一种联系。例如：每天购买啤酒的人也有可能购买香烟，比重有多大，可以通过关联的支持度和可信度来描述。与关联不同，序列是一种纵向的联系。例如：今天银行调整利率，明天股市的变化。4．预测：把握分析对象发展的规律，对未来的趋势做出预见。例如：对未来经济发展的判断。5．偏差的检测：对分析对象的少数的、极端的特例的描述，揭示内在的原因。例如：在银行的100万笔交易中有500例的欺诈行为，银行为了稳健经营，就要发现这500例的内在因素，减小以后经营的风险。需要注意的是：数据挖掘的各项功能不是独立存在的，在数据挖掘中互相联系，发挥作用。数据挖掘的方法及工具作为一门处理数据的新兴技术，数据挖掘有许多的新特征。首先，数据挖掘面对的是海量的数据，这也是数据挖掘产生的原因。其次，数据可能是不完全的、有噪声的、随机的，有复杂的数据结构，维数大。最后，数据挖掘是许多学科的交叉，运用了统计学，计算机，数学等学科的技术。以下是常见和应用最广泛的算法和模型：(1)传统统计方法：①抽样技术：我们面对的是大量的数据，对所有的数据进行分析是不可能的也是没有必要的，就要在理论的指导下进行合理的抽样。②多元统计分析：因子分析，聚类分析等。③统计预测方法，如回归分析，时间序列分析等。(2)可视化技术：用图表等方式把数据特征用直观地表述出来，如直方图等，这其中运用的许多描述统计的方法。可视化技术面对的一个难题是高维数据的可视化。职业能力要求基本能力要求数据挖掘人员需具备以下基本条件，才可以完成数据挖掘项目中的相关任务。一、专业技能硕士以上学历，数据挖掘、统计学、数据库相关专业，熟练掌握关系数据库技术，具有数据库系统开发经验熟练掌握常用的数据挖掘算法具备数理统计理论基础，并熟悉常用的统计工具软件二、行业知识具有相关的行业知识，或者能够很快熟悉相关的行业知识三、合作精神具有良好的团队合作精神，能够主动和项目中其他成员紧密合作四、客户关系能力具有良好的客户沟通能力，能够明确阐述数据挖掘项目的重点和难点，善于调整客户对数据挖掘的误解和过高期望具有良好的知识转移能力，能够尽快地让模型维护人员了解并掌握数据挖掘方法论及建模实施能力进阶能力要求数据挖掘人员具备如下条件，可以提高数据挖掘项目的实施效率，缩短项目周期。具有数据仓库项目实施经验，熟悉数据仓库技术及方法论熟练掌握SQL语言，包括复杂查询、性能调优熟练掌握ETL开发工具和技术熟练掌握MicrosoftOffice软件，包括Excel和PowerPoint中的各种统计图形技术善于将挖掘结果和客户的业务管理相结合，根据数据挖掘的成果向客户提供有价值的可行性操作方案应用及就业领域当前数据挖掘应用主要集中在电信(客户分析)，零售(销售预测)，农业(行业数据预测)，网络日志(网页定制)，银行(客户欺诈),电力(客户呼叫)，生物(基因)，天体(星体分类)，化工，医药等方面。当前它能解决的问题典型在于：数据库营销(DatabaseMarketing)、客户群体划分(CustomerSegmentation&Classification)、背景分析(ProfileAnalysis)、交叉销售(Cross-selling)等市场分析行为，以及客户流失性分析(ChurnAnalysis)、客户信用记分(CreditScoring)、欺诈发现(FraudDetection)等等，在许多领域得到了成功的应用。如果你访问著名的亚马逊网上书店()，会发现当你选中一本书后，会出现相关的推荐数目“Customerswhoboughtthisbookalsobought”，这背后就是数据挖掘技术在发挥作用。数据挖掘的对象是某一专业领域中积累的数据；挖掘过程是一个人机交互、多次反复的过程；挖掘的结果