数据挖掘与商务智能-1_商务智能概述-

商务智能概述第一章数据挖掘与商务智能主要内容数据时代需要BI什么是BIBI给我们带来了什么BI系统架构主流商务智能产品介绍商务智能应用及发展趋势数据时代需要BI-1计算时代实验室里的大量计算不重视数据的存储普及时代个人、企业广泛使用出现数据、存储的需求应用系统时代开始出现数据积累互联网时代更加海量的网上数据数据时代？数据、数据、数据、数据、数据……..“大话”计算机数十年来的发展数据时代需要BI-2案例一：BehaviorTargeting用户行为（网络用户，实际用户）目标销售（email，网络广告，短信，电话促销…）用户的归类、预测数据告诉我们什么-3案例二：SEM（SearchEngineMarketing）搜索引擎营销MSNBing、Google、Yahoo和Baidu四大全球搜索引擎KSP（KeywordServicesPlatform）AdSage（艾德思奇）:第三方SEM服务商“BusinessIntelligenceisaprocessofturningdataintoinformationandknowledgeintoactionforbusinessgain。”—DataWarehouseInstitute.什么是商务智能-1数据可以记录、通信和能识别的符号可以是文本、图片、声音等多种形式信息有用的数据就是信息，信息是对数据的解释信息是经过加工后的数据一个人的垃圾（数据）是另一个人的财富（信息）知识是对信息内容进行提炼、比较、挖掘、分析、概括、判断和推论事实性知识和经验知识（显性和隐性）HowareYou?π什么是商务智能-2商务智能是企业利用现代信息技术收集、管理和分析结构化和非结构化的商务数据和信息，创造和累计商务知识和见解，改善商务决策水平，采取有效的商务行动，完善各种商务流程，提升各方面商务绩效，增强综合竞争力的智慧和能力-王茁专著《三位一体的商务智能》.共性没有数据就没有商务智能数据之间往往存在一定的规律采用一定的信息技术手段BI给我们带来了什么-1BI给我们带来了什么-2丰富的报表、查询功能——发生了什么BI给我们带来了什么-3图4.5Cognos的钻取操作IBMCognos的钻取操作——为什么发生BI给我们带来了什么-4预测——将来会发生什么销售分析仪表盘BI给我们带来了什么-5仿真分析——希望发生什么BI系统架构-1数据库业务数据库•添加、修改、删除；•查询、统计、归档；•存储、集群、备份、迁移数据仓库ETL报表生成数据挖掘模型多维分析模型分析展现挖掘展现门户集成BI系统架构-2数据源企业内部数据•各种应用系统：订单系统、销售系统、•OLTP（OnlineTransactionProcessing）外部数据：市场信息、竞争对手数据存在问题•异构环境数据•主题不明确•对业务系统的影响BI系统架构-3数据仓库（DataWarehouse，DW）面向主题的、集成的、稳定的、随时间不断变化的数据库系统ETL•数据抽取（Extraction）•数据转换（Transformation）•数据加载（Loading）BI系统架构-4OLAP（On-LineAnalyticalProcessing）商务智能的直接数据来源？•OLTP?•数据仓库？•多维数据集?什么是多维数据集？“多维数据集是一种结构，包含了一个或多个度量。这些度量用于所有维度的成员的每个唯一组合。”BI系统架构-5OLAP（On-LineAnalyticalProcessing）“OLAP系统能够让用户快捷地从数据中检索信息，通常作为分析工具用在数据集市中，OLAP系统通过度量、维度、层次结构和多维数据集等来展示数据。”–MicrosoftBI系统架构-6数据挖掘啤酒与尿布的故事：在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起出售，但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。原来，美国的妇女们经常会嘱咐她们的丈夫下班以后要为孩子买尿布。而丈夫在买完尿布之后又要顺手买回自己爱喝的啤酒，因此啤酒和尿布在一起购买的机会还是很多的。BI的三个层次数据库业务数据库•添加、修改、删除；•查询、统计、归档；•存储、集群、备份、迁移数据仓库ETL报表生成数据挖掘模型多维分析模型分析展现挖掘展现门户集成BI的三个层次用户数增加报表分析OLAPDM复杂度增加我知道它现在是怎样的我知道它为什么是这样我知道它以后会是怎样主流商务智能产品介绍-1厂商产品及简介IBMDB2以及Cognos、SPSS、DataStage，覆盖BI全部领域OracleOracle、Hyperion(海波龙)，覆盖BI全部领域，数据挖掘领域有待加强MicrosoftSQLServer，覆盖BI全部领域，适合中小型企业，性价比高InformaticaInformatica，主要是数据集成领域TeradataTeradata，主要是数据仓库领域SybaseSybaseIQ，主要是数据仓库领域SAPBusinessObjects、CrystalReports，主要是OLAP和报表领域SASSAS，数据挖掘领域领先奥威智动Power-BI，主要是OLAP和报表领域，行业解决方案尚南BlueQuery，主要是OLAP和报表领域（已被用友华表收购）润乾润乾报表，主要是OLAP和报表领域探智Trinity，主要是数据集成领域主流商务智能产品介绍-2商务智能应用-1金融通信制造业保健行业技术业零售政府基建行业教育运输外包业娱乐业旅游业其他商务智能行业应用商务智能应用-2各行业电子商务网站算法层商业逻辑层行业应用层商业应用商业模型挖掘算法CRM产品推荐客户细分客户流失客户利润客户响应关联规则、序列模式、分类、聚集、偏差分析…WEB挖掘网站结构优化网页推荐商品推荐……基因挖掘基因表达路径分析基因表达相似性分析基因表达共发生分析……银行电信零售保险制药生物信息科学研究……相关行业商务应用需求的推动神经网络、决策树、回归分析、粗集、遗传算法金融行业应用——美国汇丰银行使用SPSS成功案例公司背景美国汇丰银行是HSBC集团成员之一，通过位于纽约的380个分支机构为140多万银行客户提供核算、投资、借贷和其它金融服务。美国汇丰银行资产为350亿美元。面临问题同一地区可能有多家银行设有分支机构，从而引起持续的竞争来吸引和保持附近的潜在客户。为保持高水平的客户获取和保持率，并维持可赢利性，银行经常要实现以下目标：扩展和现有客户的关系控制营销费用以维持利润用新的智能快速转移市场金融行业应用——美国汇丰银行使用SPSS成功案例解决方案——SPSS客户细分：采用实时的预测分析技术，分析来自各种不同数据源（ATM、交易网站、呼叫中心及相关分支机构）的客户数据,发现潜在价值客户流失：找出最有价值的客户，理解他们的行为。在客户群中找出尽可能多的潜在流失者，进行有效的保留活动并降低成本交叉销售:从客户的交易数据和客户的自然属性中寻找、选择最有可能捆绑在一起销售的产品和服务，发现有价值的产品和服务组合，从而有效地向客户提供额外的服务，提高活期收入并提升客户的收益率金融行业应用——美国汇丰银行使用SPSS成功案例应用结果揭示特定客户的需求，销售增加50%营销费用减少30%提高了建立和开展适时营销战略的能力Somma说，OLAP对了解数据特征来说是一个不错的工具，但我无法从中发现联系的力度，也不能做出预测模型，而那正是我最需要的。“Somma说，OLAP是好的报告工具，但没有统计引擎，它只能告诉过去我在哪里，而不能说出我需要去哪里。BI在电信行业应用精细化营销客户细分，找准客户范围，全面了解客户地市分公司数据集市建设评估分析套餐资费预演功能套餐分析资费营销案活动管理降低成本重入网现象日趋严重利用呼叫指纹和IMEI技术，架构新的重入网模型BI在零售业应用-1零售业特点顾客数量庞大，消费水平层次不齐销售品种多，销售方式多样供应商信息庞大顾客已从“感觉消费”向“感情消费”迈进企业经营开始从降低成本向提高顾客满意度迈进（CRM）CRM（客户关系管理）指在合适的时间、以合适的价格、将合适的产品或服务提供给合适的客户，以满足他们的需要。BI在零售业应用-2BI在零售业的应用价值了解销售全局商品分组布局降低库存成本市场和趋势分析有效的商品促销BI在电子商务行业的应用-1BI在电子商务行业的应用-2Web挖掘就是利用数据挖掘技术，从Web文档以及服务中发现信息、知识的过程数据来源于Web文档、Web服务器日志、用户Cookies主要处理文本、图形、图像等半结构化数据主要应用•网站结构优化•智能搜索引擎•个性化推荐•顾客分类，交叉销售•垃圾邮件过滤BI在电子商务行业的应用-3Web挖掘分类Web挖掘Web结构挖掘Web使用挖掘Web内容挖掘文本挖掘多媒体挖掘内、外部结构挖掘URL挖掘个性化访问模式追踪一般访问模式追踪BI在电子商务行业的应用-4Web文本挖掘Web文本挖掘应用搜索引擎优化垃圾邮件过滤Web文本Internet采集特征库提取结果挖掘输出评价BI在电子商务行业的应用-4Web结构挖掘通过分析页面链接的数量和对象，从而建立Web的链接结构模式相关算法PageRank算法：网页的质量和重要性可以通过其他网页对其链接的数量进行衡量HITS算法：•权威页面：表达某一主题的页面•Hub页面：把权威页面链接到一起的页面应用信息检索：根据Web重要性进行排名社区识别：识别基于某个特定主题的相关Web页面网站优化：重新定位网页链接BI在电子商务行业的应用-5Web日志挖掘指从用户访问日志中获取有价值的信息，包括访问者的兴趣爱好、访问模式、满意度应用顾客分类：开展有针对性的营销活动交叉销售：识别商品间的关联程度个性化推荐：在适合的时间，以适合的方式，将适合的产品，推荐到适合的人手中。BI在电子商务行业的应用-6《服装电子商务个性化推荐系统关键技术研究》课题虚拟与现实存在一定的差距，传统的服装电子商务网站不适合“一看二摸三试衣”的购物流程存在海量的商品信息查找困难，失去购物兴趣搜索结果界面相同缺乏个性化（颜色、款式）服装个性化搭配问题服装展示：二维图片+文字说明为主用户购衣后衣服不合体衣服质感存在较大差异BI在电子商务行业的应用-7服装款式个性化推荐技术用户聚类Web数据挖掘协同过滤推荐不确定性服装搭配预测模型研究虚拟试衣三维人体建模技术三维人体模型与三维服装CAD结合虚拟试衣技术商务智能进展-1技术发展20世纪90年代初期，信息仓库90年代中期，数据仓库90年代后期，数据挖掘、多维分析与展现技术BI市场竞争Gartner公司的调查表明，2000年到2004年之间，安全是企业IT投资排在第一位的主题，而商务智能项目的投资在2000年时仅排在第14位，2007年却突飞猛进，排到了第一位BI公司的收购：Oracle收购Hyperion，SAP收购BusinessObjects，IBM收购Cognos市场规模每年大约增加10%~15%商务智能的发展趋势商务智能进展-2起步较晚：商务智能在中国的发展尚处于起步阶段，大部分企业对商务智能仍然缺乏必要的了解。差距拉大：呈现出区域和行业的分布不均现象供应商有待成长中国企业对商务智能的应用商务智能进展-3实时标准化嵌入式商务智能移动商务智能大众化趋势易用性体育用品公司的数据分析总结