12月 第二期 PPT 跨越鸿沟：大数据从技术到商业价值-东软集团刘长虹

跨越鸿沟：大数据从技术到商业价值刘长虹技术战略发展部东软集团股份有限公司Copyright©2014NeusoftCorporation东软机密大纲大数据发展趋势大数据鸿沟跨越大数据鸿沟案例：SaCaRealRec大数据产品实践SaCaRealRec案例总结及展望大数据发展趋势市场发展趋势•Gartnerestimatesthemarketfordatamanagementinfrastructure(databasemanagementsystemsincludingdatawarehousing,storagemanagement,BI,ECManddataintegration,andrelatedsystemsas$74billionin2014,growingto$94billionby2017.•IDCpredictedthebigdatatechnologyandservicesmarketwillgrowataCAGRof27%from2012to2017,growingto$32.4billion,andthattheInternetofThingswillgenerate30billionautonomouslyconnectedendpoints.•GartnerpredictedthatBigDatawoulddrive$232billioninITspendingthrough2016.•IDCestimatesthattheamountofdataintheworldwillgrowfifty-foldfrom2010to2020.大数据到了落地阶段数据来源GartnerIt'stimetothinkbig在2012年，有27%的企业开始从事大数据相关的工作，有31%计划于两年内展开大数据项目。到了2013年，有30%的企业已经引入了大数据，计划参与的企业比例也增至34%。造成这一现象的原因是不少企业都认为大数据能够帮助他们提升用户体验、改进企业效率或是发现新的商业模式或产品数据来源Gartner大数据鸿沟大数据鸿沟企业数据量小认为大数据等同于BI缺乏大数据业务规划能力跨越大数据鸿沟-企业数据量小大数据组成和演进大数据社交感染力维基/微博/博客点击流传感器/RFID/设备音频/视频日志文件空间&GPS协调数据营销源电子政务源天气文字/图像WEB2.0ERP∕CRM移动电子商务广告协作数字化营销搜索营销Web日志推荐应付款薪酬盘存联系人订单追踪销售管道数据复杂度：多样化与高效率PetabyteTerabyteGigabyteMegabyte数据结构多样性LevelExampleStructuredRelationaldatabaseSemi-StructuredXMLdatafilesQuasi-structuredTextdocumentsUnstructuredImagesandvideoNonStructured非结构化文本数据处理：例如，微博、新闻。大规模图片、声音、视频数据处理：例如，相片、电影。跨越大数据鸿沟-大数据等同于BI传统BI大数据分析数据结构关系表，预定义SchemaKey-value、列数据库，不需要明确的Schema数据量GB、TBTB、PB数据建模Top-down预定义，实体关系模型通过计算寻找模式、探索式预测，相关性索引预定义索引、组合索引，小数据集合没有索引，全数据集处理数据访问接口SQL开放程序接口数据处理ETL专用ETL过程和工具集成在整个处理流程中分布、并行性不能自动实现分布式支持分布式计算成熟度商业软件支持开源软件为主大数据与传统BI的技术区别大数据与传统BI的应用场景区别大数据事务数据交互数据外部数据机器学习知识图谱兴趣图谱社交图谱数据即决策预见需求个性精准适时送达传统BI是汇总、总结，是辅助决策。大数据即决策，直接将结果推送给终端用户。跨越大数据鸿沟-缺乏大数据规划能力跨越鸿沟：缺乏业务规划能力数据拥有者•Google•阿里巴巴•工商银行数据技术•Oracle•TeraData•Neusoft数据创新思维•HGData•Datashift•DataHug企业大数据创新类型定位。企业大数据导入过程回答新业务中的新问题，目标是改写竞争格局。回答现有业务中的新问题，专注于业务增长机会。回答现有业务中的已知问题，专注于提升业绩和运营效率。数据来源德勤企业创新的三种大数据战略客户战略产品战略生态系统战略重塑客户行为利用客户交互数据重塑客户行为，这类数据使企业可以预测和引导市场尚未出现的需求，进而创造新的利润。开发新产品和服务企业借助数据获取洞见，支持日常业务，以服务于现有市场和客户。瞄准新市场，创新和设计全新的业务模式。数据生态系统视野企业可以从生态系统中的其他企业处获得补充数据。这种生态系统以适当的合作战略为基础。SaCaRealRec大数据产品实践SecureSocialActiveConnectedCloudwithAwarenessSaCaCloudApplicationPlatformS:Secure,Sociala:activeC:ConnectedClouda:awarenessSaCa产品家族情景感知社交网络大数据洞察云计算移动互联ADSG应用交付安全网关SNAP社交网络平台EMM移动管理平台MAF移动应用开发平台EP事件处理平台DataViz数据可视化平台RealRec切实推荐平台CloudPush云推送平台CDC变更数据捕获平台WWFWeb组件框架AppMart多终端应用商店ACAP云应用支撑平台Aclome云应用管理平台外部数据用户行为分析个性化推荐精准营销意见挖掘兴趣发现用户画像全站推荐客户发现移动推荐交叉销售业务数据销售市场Engine知识图谱Core邮件推荐渠道整合智慧商务大数据平台：SaCaRealRec业务视图智慧商务的价值智慧商务特性业务（客户）人性化的适时的超出期望的技术角度情景感知实时分析融合数据智慧商务改进点1.预订票时，根据LBS信息第一次校验。2.发送确认短信时，根据上下文交易数据第二次校验。3.CallCenter接访时，给予减免，提高客户满意度、忠诚度。一张一错再错的机票RealRec技术架构电信领域金融领域电子商务网络多媒体智能监测Agent智能监测Agent智能监测Agent智能监测Agent数据采集持续计算消息队列（点击流数据）BoltBoltBoltBoltBoltBoltBoltBolt数据过滤数据转化NoSQL数据库用户关注热点转化率统计网页停留时间分布式计算关联分析相关系数相似性因果关系推荐算法协同过滤SlopeOneSVD矩阵分解聚类算法K-Means模糊聚类层次聚类分布式数据仓库内容信息元数据交易信息用户行为数据业务数据自然语言中文分词特征值提取潜在语义网分类算法支持向量机朴素贝叶斯极限学习机统计模型预测模型分类模型关联网络航空领域智能监测Agent消费品领域智能监测Agent图形数据库领域本体库兴趣图谱库标签库第三方数据文本挖掘文本虑重情感分析标签传播RealRec部署架构KafkaStormCDHNeo4jMySQLSqoopFlume摘要涵盖面的各页标题，如“要分享什么”用户行为分析应用场景场景：网站、App、智能设备等用户行为分析。价值：洞察客户，提升用户体验、提升转化率。个性化推荐应用场景场景：数字化内容推荐：阅读推荐、视频推荐、电商推荐等。价值：从千人一面到千人千面，精准导购，提高交易量。摘要涵盖面的各页标题，如“要分享什么”精准营销应用场景场景：B2C类企业智慧、精准、定向营销。价值：新客户发现，老客户挖潜力。案例：ohwyaa.com知识社区员工履历活动文档过程方法代码样例领域专家员工管理者找文档、找例子、找高手填履历，让更多人了解为项目找合适技能的员工了解员工技能状况个人知识资产的积累与分享OhwYaaHR首页文章推荐相关文章推荐用户推荐邮件推荐热门文章推荐收益：全站PV提高10%，推荐转化率提高26%。案例：熙康健康管理场景描述：熙康服务社区用户产生海量数据包括评论、照片等，社区健康顾问可以通过健康传感器采集到的健康指标信息推荐各种健康内容。性能指标：数据规模：预计日产生10GB数据（包括健康终端，服务社区，知识库）查询分析响应时间：查询分析需要秒级返回结果案例：睿云评测系统答题卡试卷学生考号学生扫描及上传出卷、设定答题卡批阅主观题错题集&个性化作业答题情况评估&个性化反馈题库√在线阅卷家长个性化评测报告教师教学分析i学生从大量数据中感知学生的知识欠缺，提供实时的学习建议及内容推荐。评测报告主动推送到移动终端，让学生和家长第一时间得到学习建议通过互动社区与学生、家长交流，答疑解惑、关爱学生。学生通过微博、互动课件组成社交群组，形成互帮互学的氛围从大量数据洞察出的学生知识特点，帮助教师有针对性地设计试卷。试卷扫描及非结构化大数据处理，解放了教师的工作量，让教师更专注于提高学生的知识和能力。案例：电商网站智能营销平台大数据平台交易数据实时批量热点分析轨迹回放多维透视智能营销PCApp社交媒体邮件电销客服运营分析保险公司线上财险网销上年销售额60亿，为进一步提高线上销售，实施了智慧商务方案。从用户行为分析深入了解客户，到实时个性化推荐，再到外向精准营销。对不同生命周期内的客户实施跟踪与管理，把促销活动或用户可能感兴趣的产品及时推送给客户。从而扩大客户范围，提升销售业绩。行为数据智慧商务展望SaCaRealRec精准营销个性化推荐用户行为分析网站推荐邮件推荐问答推荐App推荐数据采集行为分析社会化洞察全渠道客户发现客户挖掘，十个产品一个平台，三类解决方案Q&AThanks！@领航者老三Copyright©2014byNeusoftCorporation