UCPfor大数据解决方案30

HDS统一计算平台的大数据解决方案HDSchannelenablementTeamCiceanWang议程什么是大数据？它真正的含义是什么？大数据及大数据时代“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产力增长和消费者盈余浪潮的到来”———麦肯锡您将会面对的是……16.4ExabytesIn201035ZxabytesIn2020IDC®做出估算30倍大数据的定义（4V）海量（Volume）多样（Variety）快速（Velocity）价值（Value）3亿用户，每天上亿条微博中型城市每月数十亿智能电表数据2015年全球移动终端产生的数据量6300PB卫星图像个人信息M2M日志文件传感图像视频音频增长速度快•用户基数庞大•设备数量众多•实时海量数据•数据指数级别增长单条数据并无太多价值，但庞大的数据量蕴含巨大财富存储理解控制大数据最终的目的大数据可以从根本上提高洞察力获得洞察力！跨越鸿沟输入数据$$大数据-第三次浪潮的华彩乐章2012年3月份美国奥巴马政府发布了《大数据研究和发展倡议》(BigDataResearchandDevelopmentInitiative)，投资2亿以上美元，正式启动“大数据发展计划”。计划在科学研究、环境、生物医学等领域利用大数据技术进行突破。奥巴马政府的这一计划被视为美国政府继信息高速公路(InformationHighway)计划之后在信息科学领域的又一重大举措。与2013年12月贯彻落实《广东省信息化发展规划纲要（2013-2020年）》，加快物联网、云计算、大数据等新一代信息技术创新应用，推进我省智慧城市建设，打造珠三角世界级智慧城市群，全面提升全省信息化发展水平。广东省委副书记朱小丹广东省经济和信息化委员会副主任，党组副书记邹生我们为什么需要大数据在没有大数据技术之前，无论是机器，还是人工方式，无法获得全量样本。以人口普查为例，如果挨家挨户调研，甚至随机抽取做调研，都非常耗时，费力，很多国家甚至做不到每年发布一次在没有大数据技术之前，大量海量数据中非结构化数据，分析与计算，几乎是一个不可能逾越的鸿沟，更别说挖掘价值了。在没有大数据技术之前，分析数据仅作为参考目前现状的理论依据，也就是经验说话，数据无法实时展现价值。在没有大数据技术之前，有原因所以有结果，维度由于分析能力有限，无法表现其真正意义，相关而非因果。价值变革经济变革大数据应用案例将大数据承诺转化为巨大的价值10从“谷歌流感趋势”工具看大数据应用跟踪搜索词相关数据来判断全美地区的流感情况这个工具工作的原理大致是这样的：设计人员置入了一些关键词（比如温度计、流感症状、肌肉疼痛、胸闷等），只要用户输入这些关键词，系统就会展开跟踪分析，创建地区流感图表和流感地图。谷歌多次把测试结果（蓝线）与美国疾病控制和预防中心的报告（黄线）做比对，从图可知，两者结论存在很大相关性。以银行信贷审批决策为例用户移动轨迹和精准用户群集分析应用实时精准营销-只给最近的你HDS统一计算平台支撑大数据应用的IT架构实例新的大数据技术传统数据库处理方式—池塘捕鱼新的大数据处理方式—大海捕鱼数据规模数据类型模式和数据关系处理对象处理工具数据的自由度和性能矛盾。固定字段、维度的表结构，限制了数据的入库和拓展。数据处理数据库中间件索引及应用开发J2EEStorageFilesytem/LUNDatabaseJ2EEJ2EEWebWebWebWebWeb数据索引方式的瓶颈，依赖文件目录结构（NAS）或私有的位图块表结构（Block）。非结构数据还需要上层数据库或文件系统提供索引；面对大数据传统IT的架构的瓶颈存储成本（TB）20,000rmb数据库和中间件（TB）15,000rmb计算（TB）30,000rmb技术服务（TB）10,000rmb应用服务依赖合作伙伴总体拥有成本（TB）75,000rmb问题后期维护成本低下的数据管理性能存储扩容成本面对大数据传统IT的架构带来的问题新的大数据处理技术-Hadoop核心思想：分布式+经济Hadoop:分布式，大数据集，延时，离线计算NoSQL:分布式，小数据集，灵活，实时，快速读写天云&HDS大数据混合计算一体机J2EEWebHDSCR220SHadoopDistributionsStreamingSearchingIndexMemDBBDP(BeagleDataPlatform)Integration/Autumation/Monitoring/Scheduling/MaintainanceDataMgnt:DataViewEasyFailsense／datazip/datalifescycle／DR（Optional）BDA(BeagleDataAccelerator)机器学习组件包（Optional）BDF(BeagleDataFlow)大数据中间件SaaS/DaaS天云&HDS提供混合计算的能力HDSCR220SHadoopDistributionsStreamingSearchingIndexMemDBBDP(BeagleDataPlatform)Integration/Autumation/Monitoring/Scheduling/MaintainanceDataMgnt:DataViewEasyFailsense／datazip/datalifescycle／DR大数据储存大数据处理数据分享数据检索数据分析数据展现基于事件的可视化管理快速就绪的大数据平台天云大数据平台:BDPHadoop集群部署与管理管理控制台HA管理集群性能监控节点性能监控集群磁盘监控告警类型可视化的运维管理天云大数据平台:BDP天云&HDS解决方案产品配置规格型号大数据一体机满配大数据一体机半配管理服务器2台CR220S服务器，每服务器配置：●2*Intel®Xeon®E5-2470●64G内存●2*300GB硬盘，12*3.5寸3T硬盘●1个4端口高性能千兆以太网卡2台CR220S服务器，每服务器配置：●2*Intel®Xeon®E5-2470●64G内存●2*300GB硬盘，12*3.5寸3T硬盘●1个4端口高性能千兆以太网卡数据服务器14台CR220S服务器，每节点配置：●2*Intel®Xeon®E5-2470●64G内存●2*300GB硬盘，12*3.5寸3T硬盘●2个高性能千兆以太网卡6台CR220S服务器，每节点配置：●2*Intel®Xeon®E5-2470●64G内存●2*300GB硬盘，12*3.5寸3T硬盘●2个高性能千兆以太网卡网络与交换2台可管理全千兆以太网交换机2台可管理全千兆以太网交换机其他选配硬件附加硬件组件：●1U机架式KVM●标准42U机柜●外置UPS供电设施（选配）附加硬件组件：●1U机架式KVM●标准42U机柜●外置UPS供电设施（选配）大数据软件BeagleDataPlatformV1.516节点License授权BeagleDataPlatformV1.58节点License授权升级与扩展使用交换机堆叠方式连接多个一体机可升级至大数据一体机满配支持服务●提供软硬一体化整体支持●硬件：三年保修服务●软件：一年维保服务（可续订）●提供软硬一体化整体支持●硬件：三年保修服务●软件：一年维保服务（可续订）天云&HDS大数据一体机方案优势总结备注更低的成本更高的性能‒由全新分布式架构带来混合的架构‒存储和计算的能力同时具备‒软硬件结合的方案强大的计算能力‒分布式计算‒NoSQL数据管理应用更加灵活高可扩展和高可用‒线性扩展，性能线性提升‒多节点多副本带来高可用性天云&HDS大数据一体机卖点总结强大数据存储能力先进的硬件架构一流的大数据平台软件业界领先的性能就绪的软件最佳实践单机柜提供1PB的存储能力成功案例大数据落地的经验（天云科技）大量用户无法精准识别重复电话销售产生的抱怨对品牌形象产生伤害通过统一用户视图进行理财产品推荐实现精准客户营销避免传统轰炸式电话营销对品牌的负面影响人数占比年龄年收入（元）累计标保和缴付保费合计件均标保寿险缴付金额两全缴付金额年金缴付金额万能缴付金额意外缴付金额医疗缴付金额重疾缴付金额投连缴付金额0.60%474820026900804001900050050007670025001002004004001.37%512940015000966001070050090400580011600100800220030000.84%40180600108002130078001100380012400160010030070002.07%472940074007110011000600510015006370010050013005000.68%33820065003070054002008002930020001001001000.84%53360058008050010400053002500530000200772001.77%42974005300980039004003300300017001003004000某保险公司——大数据于精准营销光大银行更侧重理财产品的推广。招商银行更关注大众生活。两大银行的面向品牌认知对比要精确，还是要混杂／效率QuestionsandDiscussionThankYou