R在BI中的应用和前景

R在BI中的应用和前景李舰•2001.09~2005.07–中国人民大学统计学院•2005.09~2007.06–北京大学软件与微电子学院电子服务•2007.07~2008.10–SiemensLtd.,China,Healthcare,PerformanceControllingFinanceAnalyst•2008.11~–上海源略数据服务有限公司BI顾问目录•BI简介•R在BI中的应用•一个例子•R在BI中的前景什么是BI•BusinessIntelligence，商务智能？OLAP数据挖掘数据仓库机器学习决策支持人工智能专家系统统计学相关概念•1950s人工智能（逻辑推理）•1960s人工智能（决策支持）•1970s人工智能（专家系统）•1980s人工智能（机器学习）•1980s数据挖掘统计和数据挖掘•相同点–基于历史数据–思维方式–方法和模型•不同点–学科背景–目的性–技术实现BI与DM，DW，OLAP•DW，数据仓库•DM，数据挖掘•OLAP，联机分析处理•商务智能是企业利用现代信息技术收集、管理和分析结构化和非结构化的商务数据和信息，创造和累计商务知识和见解，改善商务决策水平，采取有效的商务行动，完善各种商务流程，提升各方面商务绩效，增强综合竞争力的智慧和能力。企业信息化的发展BIBI常见架构企业数据中心数据仓库DataWarehouseETLETL数据源OLTP系统OLAPServer多维数据库业务系统财务系统销售系统客服系统数据集市Datamart数据集市DatamartETLETLETL数据挖掘DataMining统计报表ScoringScoring多维分析挖掘分析查询及其它应用分析师元数据(MetaData)管理系统管理目录•BI简介•R在BI中的应用•一个例子•R在BI中的前景MVC三层架构BrowserHTMLHTML应用服务器DatabaseWebContainerEJBContainerServletJSPEJBFacadeSessionBeanEntityEJBEntityEJBsHomefactoryAccessBeanView–表示：显示输入输出数据(可以是HTML，可以是一个windows应用)Model–业务逻辑和数据：基于输入和定义的业务流程执行计算或其它操作Controller–协调view和model，在它们之间交换数据当今流行开发框架R的位置•尽可能少写代码是系统开发的趋势•当前框架基本已做到只在业务逻辑写代码•面向对象与基于矩阵•分析性系统的关键在于数据模型•R用作分析引擎相关平台•Rserve+JRclient–http://www.rosuda.org/Rserve/–Rserve是一个R的服务器，供其他程序调用–JRclient是一个JAVA类库，可看成客户端•其他开源平台–Eclipse+lomboz–ApacheTomcat–MySQL–Hibernate+Spring目录•BI简介•R在BI中的应用•一个例子•R在BI中的前景系统描述•一个小型的OLAP引擎•基于MySQL数据库•实现基本的OLAP功能–建立立方体–切片(slice)–上卷(rollup)–钻透(drillthrough)•未包含展现层相关工具•MySQL•R•DBI_0.1-10•RMySQL_0.5-7包含函数•cube(str1,str2,str3,str4)•slice(CUBE,str,value)•drillthrough(CUBE,value1,value2,value3)•rollup(CUBE,str)函数示例建立立方体•cube1<-cube(“dwolap.all.month”,“dwolap.all.classid”,“dwolap.all.totallrange”,“dwolap.all.payment”)时间（月份）商品交易金额的汇总交易信息（每单额度级别）商品（商品类别）沿每单额度上卷•可以发现第10类商品，也就是类别为1111（酒类）的商品在2月份的销售额特别高。monthclassidvalue在该商品处切片•可以发现这类商品中交易单等级在第四类的占绝大多数。(200元到500元间)monthtotallrangevalue钻透>drillthrough(cube1,02,1111,4)selltimegoodsidtransidrealpricecountpayment12005-2-510:27:08:92320130008X2005020501001335.6264.022005-2-510:26:47:07320350004X2005020501001322.0488.032006-2-1114:34:40:1520180114X200602110200404.01040.042006-2-1412:03:14:4911110086X2006021402002433.0133.052005-2-613:13:46:3511110015X2005020601004438.94155.662005-2-1308:12:19:60620350013X2005021301000137.86226.872005-2-418:59:18:6311110018X2005020401006915.2230.482005-2-419:00:23:78311110007X2005020401006957.2157.292005-2-620:27:45:42320130037X2005020601010345.9273.6102005-2-620:27:39:03320130034X2005020601010388.02176.0112005-2-408:19:25:98311110007X2005020401000257.22114.4122005-2-408:19:23:4320350016X2005020401000249.0145.0132006-2-1709:35:12:8111110001X2006021702000919.8119.8142006-2-1709:38:23:6220180019X2006021702000920.0240.0152005-2-612:05:20:73611110051X200502060100285.524132.0162005-2-617:22:40:94611110046X200502060100812.0482160.0172005-2-1018:03:45:2220180203X20050210010049480.01480.0182005-2-412:59:09:83620130037X2005020401003345.9136.8目录•BI简介•R在BI中的应用•一个例子•R在BI中的前景市面上的BI产品•07年10月，BO被SAP收购•07年11月，Cognos被IBM收购定制BI系统的优势•更灵活•分析功能强•节约成本•更能适应需求•开源开源的BI工具——•Mondrian是开源项目Pentaho的一部分，是一个用Java写成的OLAP引擎。•它实现了MDX语言、XML解析、JOLAP规范。•Mondrian支持的数据库或数据仓库主要有：LucidDb、Oracle、Access、Mysql、Sybase、Ingres、Postgres、Hypersonic、Teredata。Mondrian与Ｒ•新版本的Mandrian已经可以和R集成，用来改善图形质量。