大数据解决方案V1044

Thispresentation,includinganysupportingmaterials,isownedbyUECand/oritsaffiliatesandisforthesoleuseoftheintendedUECaudienceorotherauthorizedrecipients.Thispresentationmaycontaininformationthatisconfidential,proprietaryorotherwiselegallyprotected,anditmaynotbefurthercopied,distributedorpubliclydisplayedwithouttheexpresswrittenpermissionofUECoritsaffiliates.©2014UnitedElectronicsCo.,Ltd.and/oritsaffiliates.Allrightsreserved.北京荣之联大数据解决方案目录大数据综述荣之联企业大数据平台方案大数据平台建设方法汽车制造业应用大数据畅想案例大数据时代到来IDC预测全球的数据使用量到2020年会增长44倍，达到35.2ZB(1ZB=10亿TB)统计、分析、预测、实时处理数据处理思维转变少量的样本数据数据关系力求明确清晰探求难以捉摸的因果关系要求数据精确无误全量数据乐于接受数据的纷繁复杂转而关注事物的关联关系数据的精确不是那么重要了•谷歌翻译系统为了训练其系统，收集其能找到的所有翻译；•谷歌收集了上万亿页的语料库，包括质量参差不齐的文档；•上万亿的语料库，相当于950亿句英语；•相对而言，谷歌的翻译质量还是最好的；•谷歌翻译之所以更好，不是因为它拥有一个更好的算法机制，而是增加了各种各样的数据，包括有错误的数据；•在谷歌的翻译团队中，大多数工程师并不懂其翻译出来的语言；数据处理思维转变传统数据分析思维大数据分析思维案例一•聘请了20多名书评家和编辑组成的团队，在网页上创立“亚马逊的声音”向客户推荐新书，写书评；•通过客户的购买历史，寻找客户的相似性，对客户分群进行产品推荐，推荐的总是与以往购买的相似或略有区别；•通过大量的数据分析，找出书籍之间的关联关系，即“item-to-item”,时亚马逊发生了天翻地覆的变化。•AMAZON销售额的三分之一来自于“item-to-item”的推荐系统。•AMAZON最终放弃了在线书评，书评团队被解散。案例二数据处理思维转变数据处理思维转变关联关系，预测的关键。很多时候，知道“是什么”就够了，没必要知道“为什么”。一旦我们完成了“关联关系”分析，我们就可以继续向更深层次研究因果关系，找出背后的“为什么”•沃尔玛：请把蛋挞和飓风用品摆在一起，请把啤酒和尿片摆在一起；•某信用评分公司，利用Facebook的社交圈来预测个人偿还债务的可能性；•对冲基金通过分析Twitter微博的数据文本，作为股市投资的信号；•某信用评分公司，利用Facebook的社交圈来预测个人偿还债务的可能性；•对冲基金通过分析Twitter微博的数据文本，作为股市投资的信号；其它案例大数据与BI融合*大数据的商业价值大数据主要厂商大型企业和机构在寻求解决棘手的大数据问题时，往往会使用开源软件基础架构Hadoop的服务。由于Hadoop深受欢迎，许多公司都推出了各自版本的Hadoop，也有一些公司则围绕Hadoop提供解决方案。Hadoop的发行版除了社区的Apachehadoop外，cloudera，IBM，ORACLE等都提供了自己的商业版本。商业版主要是提供Hadoop专业的技术支持，这对一些大型企业尤其重要。ClouderaEMC。。。IBMOracle大数据生态HIVEBigDataApplicationsPig!ZooKeeperSQLRAW非结构化资料汇入SQL资料汇入分散式档案系统类SQL资料库系统(非即时性)分散式资料库(即时性)并行计算框架资料处理语言数据挖掘程序库目录大数据综述荣之联企业大数据平台方案大数据平台建设方法汽车制造业应用大数据畅想案例企业大数据平台架构原则*技术-按需频度的数据获取批量和实时数据采用不同的技术手段和工具，遵循统一的文件接口标准技术-多样化数据共存跨同构/异构数据库（物理系统），基于文本、数据库的数据抽取和加载数据-数据即服务业务人员通过逻辑数据对象组件访问数据，而不用关心数据的物理存储方式。通过数据组织与前端应用功能，使业务人员可以较容易、较快地定位和了解数据的内容。数据-数据质量控制通过一系列的技术和业务手段实现数据集成平台数据质量控制，主要体现在数据正确性（技术）、完整性、一致性（业务）、有效性。大数据平台整体架构大数据处理流程a.建立对非结构化数据进行SQL语法查询的支持，实现与结构化数据的集成关联（key）主分类关键词标签地名人名全国统一分类分词，倒排搜索共性、个性文本识别处理功能模块网页分类反向搜索关键词分析日志关联内容分词索引建立索引分析日志合并用户类别标签摘要结构化元信息网页信息分类数据获取语义分析数据解析非结构化数据数据获取结构化数据数据集市数据集市EDW结构化元数据Hadoopa.建立非结构化信息的标签、摘要、索引、日志、内容等a.提取结构化的元数据信息，如类别、标引、摘要等；实现与结构化数据的整合ODSSQL声誉度分析品牌分析服务质量分析竞争产品分析产品评价市场动态跟踪ETL网络爬虫大数据关键技术大数据关键技术-HadoopHadoop系统工作原理大数据关键技术-网络数据获取分布式网络爬虫分布式文件系统分布式存储横向扩容(Scale-out)架构分布式软件架构并行计算框架大数据关键技术-两种平台相互集成大数据关键技术-数据应用功能数据查询数据统计信息检索数据分析语义分析数据挖掘经营管理市场活动市场口碑分销管理决策支持用户服务大数据关键技术-数据管控目录大数据综述荣之联企业大数据平台方案大数据平台建设方法汽车制造业应用大数据畅想案例传统数据平台与大数据分布式平台特性差异大数据分析与传统BI分析差异•结构化数据•数据规模一般为TB规模•集中式，为了分析进行大量数据移动，数据向计算靠近•批处理为主•结构化/非结构化混合分析的能力•数据规模从数十TB到PB级别•分布式，计算向数据靠近•支持流式分析事务关系型数据库批处理数据仓库分析集群化非结构化流式多种数据源分析(MapReduce)组织传统BI分析大数据分析大数据处理和管理体系-多结构化大数据实施建议第一阶段：应用场景驱动的大数据开发第二阶段：各业务系统、各渠道系统等配合大数据改造优化第三阶段：管理信息体系下的大数据平台建设第四阶段（目标）：以大数据驱动的，实时的、整体联动的IT解决方案Thinkbig，startsmall.大处着眼,小处着手。大数据实施方法论大数据业务战略大数据建设目标大数据架构设计大数据实施大数据运维企业战略目标业务目标业务模式大数据治理目标应用场景服务模式服务对象大数据服务定义大数据信息模型大数据管理定义技术选择验证测试容量规划安装，配置验收测试系统上线大数据服务管理服务性能管理生命周期管理资源调度系统监控大数据持续改进业务调整服务改进技术升级架构优化大数据的角色和技能目录大数据综述荣之联企业大数据平台方案大数据平台建设方法汽车制造业应用大数据畅想案例汽车企业IT的过去汽车企业IT的将来业务挑战产品研发周期响应长市场扩张不够且竞争激烈客户忠诚度不高成本增长且利润率低业务趋势提升客户服务，增加用户粘度提高生产率扩大市场份额加强集团管控降低成本绿色经济新兴技术云（Cloud）移动（Mobility）社交（Social）大数据（BigData）一体化平台客户体验（CX）汽车制造业大数据能力创新的方向部分数据开放实时/近实时封闭延时报表/KPI“大”数据更深入大数据在汽车制造企业的应用企业级数据行业数据跨行业数据企业传统数据供应商数据订单数据维修记录分销商数据客户数据资源数据生产数据产品数据运营数据打包价格客户行为传感器数据最终客户需求客户建议和意见竞争对手情况业界预测行业动态政策法规保险电子商务交通天气金融贷款地理位置热点事件旅游市场公共安全文化体育车饰周边微博微信共享的大数据平台深度分析高敏捷性高度可伸缩性实时•市场宣传和精准营销•提升客户服务和满意度•把握市场需求和供应•掌握车辆状态和质量提升•支持管理决策和集团管控大数据在汽车制造行业大有作为保证基础信息质量，保证数据揭示的信息达到最佳使用效果产品创新供应优化精准营销服务提升深入洞察客户所想，所需，所感，所在及所得通过大数据连接客户和产品加强客户和产品生命周期管理客户销售营销忠诚度服务驾驶习惯喜爱偏好购买行为品牌形象市场定位营销渠道置换设计研发服务销售供应生产感知客户行为，实时精准营销与服务目录大数据综述荣之联企业大数据平台方案大数据平台建设方法汽车制造业应用大数据畅想案例典型案例：新华社新媒体数据库项目项目背景客户收益解决方案基于大数据与云计算技术体系理念和技术架构基础上，建立一个全新的新媒体数据库，并实现工作素材库、工作库、应用库和知识库的架构格局。为全球一体化多媒体采编与数字加工平台，新媒体多元化加工开发与集成服务平台等一系列关键业务系统提供数据存储、全文检索、数据库及其基础应用服务。全面提升新媒体数据库的应用服务能力，达到对外服务商业化的标准。整合更多的社会资源，组建知识库群，进而形成决策智库，服务于各级政府决策，提升新华社在政府决策中的影响力根据用户的兴趣特点和购买行为，实现个性化推荐，拓展了具有很大潜力的长尾客户典型案例：贵州移动用户互联网行为分析项目项目背景客户收益解决方案随着3G爆发性增长和智能手机普及，移动互联网发展一日千里，流量猛增大大超前运营商预期，另一方面，无论在移动还是固定网络，语音通信市场目前已经趋向饱和，基于语音通信的增值业务已有明显下降的趋势；随着移动互联网的飞速发展，语音业务的经营必然被流量增值业务的经营所取代。基于用户WAP上网行为分析，实现对客户内容偏好、客户网络行为偏好和互联网标签的筛选，助力于精细化营销开展。基于互联网行为分析，洞悉客户需求，将客户细分为娱乐、交流、学习、生活、商务、工具六大类，构建移动互联网产品标签库；通过自有互联网业务与网络热点产品进行“渗透率”、“覆盖率”、“活跃率”对比分析，构建增值业务产品市场竞争评估体系。典型案例：中国人力资源和社会保障出版集团企业培训平台项目背景客户收益解决方案当前，我国正处于贯彻落实“十二五”规划的关键时期和实施人才强国战略的重要时期，产业布局调整、企业升级换代进入关键阶段，许多地区和行业存在着技能劳动者供不应求的现象，尤其是在传统产业和高新技术产业领域，技能劳动者特别是高技能人才严重短缺，供需之间的结构性短缺矛盾日益突出。中国人力资源和社会保障出版集团将坚持以服务人力资源社会保障事业发展为己任，以培育人才、助力民生为工作主线，逐步打造成为我国人力资源社会保障信息交汇平台、职业教育和职业培训教材研发基地、职业安全和劳动保障知识传播中心。满足远程教育培训的需求（满足培训和教学两方面的功能需求），针对课件制作、精品课程制作提供良好便捷的设计制作平台。足集团未来信息化扩展的需求，应对日益激烈的信息数字化竞争。典型案例：中信银行信用卡中心项目背景客户收益解决方案中信银行信用卡中心充分利用银行的内部资源，自2007年发卡至今，凭借强大的安全保障、便捷的还款方式、优质的客户服务以及持续丰富的刷卡优惠活动，中信平安信用卡已从竞争日趋白热化的国内信用卡市场中异军突起。发卡量增长迅速：2008年发卡约500万张，2010年增加了一倍。业务数据增长迅速：随着业务的迅猛增长，业务数据规模也线性膨胀。数据存储、系统维护、数据有效利用都面临巨大压力。实时的商业智能可以结合实时、历史数据进行全局分析,风险管理部门现在可以每天评估客户的行为，并决定对客户的信用额度在同一天进行调整；