HC1209201第一章大数据概述2026

www.huawei.comCopyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.HC1209201第一章大数据概述Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page2目标学完本课程后，您将能够:描述大数据产生、概念和特征；理解大数据对IT的需求和促进因素了解大数据方案。Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page3目录1.大数据产生与特点2.大数据对IT的需求与促进3.大数据解决方案Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page4IT发展时代的数据变迁BigDataCloudBYODMedia&EntertainmentVirtualizationSDS2020年全球数据总量40ZB（Gartner）Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page5海量数据产生2015年，数据将达到8ZB，数据价值$169亿每天2.5亿张照片每天2.88万小时视频一部3D电影1P以上一个平安城市200P每天6.3百万订单每天5千万条消息全球每秒2.9百万邮件每天处理24P数据Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page6海量数据的管理难题数据全周期管理Efficiency效率PB级的非结构化数据和TB级的结构化数据Store存储海量数据如何实现快速的查找Search检索Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page7数据类型移动商务CRM数据计划机会事务客户销售订单事物即时消息需求库存大数据销售订单事物移动商务需求大数据CRM数据客户计划事务Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page8结构化数据与非结构化数据•互联网：•Google,百度•Facebook,Twitter,新浪….•数据以非结构化处理为主•在企业大数据中，仍然是以结构化数据处理为主平均1个P数据中非结构化为主（原生互联网公司）结构化半结构化非结构化~35%~27%用户行为轨迹（个体）UserProfile内容（ITEM，图像、视频、文本)数据21个历史详单查询社交网络数据（群体）WebPage&Log~23%~5%~10%结构化为主（电信运营商）~15%~3%~12%网络XDR(探针俘获后，含历史）计费CDR(含历史）主数据（三户+订购+接触等含历史）分析汇总数据（含历史）CUBE和统一视图~7%互联网WebPage&Log(含历史）~13%社交网络数据~18%~25%内容（图像、视频、文本)数据~7%Hadoop和分布式文件系统数据库Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page9解构大数据Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page10大数据特征海量的数据规模非结构化数据的超大规模增长，IDC预计到2020年全球数据量将达到40ZB快速的数据流转和动态的数据体系实时分析而非事后分析，低延时并发访问，是大数据区别于传统数据的显著多样的数据类型文件、电子邮件和视频等非结构化信息约占未来十年数据产生量的90%巨大的数据价值对未来、行为模式等的预测分析，一部数小时的视频，可能有用的数据只有一两秒大数据四大特征Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page11目录1.大数据产生与特点2.大数据对IT的需求和促进3.大数据解决方案Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page12数据应用中的性能与容量存储性能要求（每秒对象数）应用数据存储（例如，电子邮件、虚拟机/启动、Sharepoint*）大型关系数据库（例如，NoSQL、非ACID）内容分发网络（CDN）企业数据库（OLTP、OLAP）小规模随机大规模顺序GigabytesTerabytesPetabytesExabytes高性能存储容量存储备份与归档（服务器与客户端）大型对象存储（例如，照片/视频）大型分析工具（例如，Hadoop*/HDFS）高性能计算（例如，pNFS、Luster*）Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page13大数据对技术要求对应挑战数据挖掘、商业智能、数据搜索关键技术Volume海量Velocity快速Value价值Variety多样性并行计算（批量计算、流计算）非结构化：分布式文件/对象系统半结构化：NoSQL数据库结构化：分布式数据库异构数据融合ETL过程优化大数据分析技术大数据存储技术数据处理数据存储数据采集数据源物联网、企业、社交化网络……数据分析应用及展现数据可视化Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page14大数据对IT系统要求单机集群NAS单机GEFCFC关系型数据库10GEFCIB分布式数据库非关系型数据库双控阵列10GESASIB横向扩展块级虚拟化横向扩展分布式文件系统计算瓶颈存储瓶颈网络瓶颈数据库瓶颈Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page15应用独占主机多应用共享大规模资源池大数据推动IT架构演进（一）OSOSOSApp1App2Appn小型机/服务器…CloudOSApp1App2Appn云基础设施资源池…Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page16IT基础设施架构从以计算为中心以数据为中心大数据推动IT架构演进（二）大规模并行处理持久化内存Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page17大数据对存储技术促进（一）StorageNodeStorageNodeStorageNode数据保护数据管理数据流动JDBC/ODBCNFS/CIFS/HDFSISCSIRest•快照•远程复制•EC•动态分层•策略驱动•归档/节能/Worm•重删、压缩•快速搜索和分类检索特性接口存储池1（租户A）存储池2（租户B）ABB2B1A2CR全局命名空间基础架构A1Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page18大数据对存储技术促进（二）处理器的升级硬件卸载10GEEthernetRoCE，ToEInfinibandRDMAPCIeFCoESSD非易失性内存（NVDIMM）MRAM指令加速Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page19大数据应对技术发展趋势2011201x20132015生活助理机器人报表仪表盘广告推荐精准营销RDBMSNOSQLDBMPPDB以客户画像为基础的业务分布式内存计算技术HP小型机IBM小型机X86机架服务器刀片服务器统计分析OLAP分析预测分析数据应用发展趋势数据智能发展趋势存储计算发展趋势硬件发展趋势Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page20目录1.大数据产生与特点2.大数据对IT的需求和促进3.大数据解决方案Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page21大数据存储解决方案Scale-outNAS存储Scale-outDBScale-outBackup分析备份数据全生命周期管理NFS/CIFS存储VTL/LTFS备份XDBC/SQL分析ABCScale-out文件系统OceanStor9000分布式存储通用服务器网络（交换机，路由器）存储节点ScaleoutBlockScaleoutFilesystemScaleoutDBScaleoutObjectScaleoutbackupHadoopFSAPI,NFS/CIFS,Posix,ISCSI,S3CloudOS计算存储网络数据库横向扩展（硬件扩展）块虚拟化丰富的增值软件及对外接口集群虚拟化10GESASIB横向扩展（硬件+文件系统），文件虚拟化,丰富的增值软件及对外接口10GESASIB非关系型数据库分布式数据库Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page22互联网大数据解决方案-HADOOP分析平台MapReduce分布式并行处理架构Hbase非关系型数据库HDFS-分布式文件系统Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page23Hadoop大数据分析Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page24总结大数据产生与特点大数据对IT的需求和促进大数据解决方案Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page25思考题大数据的特点有哪几个？与结构化和非结构化数据有什么关系？大数据对IT或存储的需求有哪几个方面？大数据解决方案的最终价值有哪些？Thankyouwww.huawei.com