Oracle-云计算与大数据-战略、技术与实践49

InsertPictureHere云计算与大数据----战略、技术与实践XiaozhaoheCloudyComputing&BigDataTechnologyStrategy,GreaterChina演讲人简介•于计算数据基础设施倡导者、研究者不实践者•中国及北美16年以上IT研发、管理、咨询综合经验•成功设计研发某大型金融业20PB级海量于数据库管理系统•16th丐界计算机大会数据管理分会主席•第二界中国青年科技工作者协会员•中国软件技术大会，亚太软件研发管理峰会，Oready企业数据库大会特邀讲师•出版技术与著两部《丌是三维—软件项目的设计、开发不管理》电子工业出版社《消息设计不开发—分布式开发的核心技术》电子工业出版社议程1云计算概论•基本概念：云计算与云技术•国际与国内现状分析•云计算实施策略建议2纵横云技术•虚拟化，分布式计算，云中心设备，云终端…….•云管理平台•云数据管理3大数据浅析•大数据与新技术综述•主要技术分析•未来展望4Oracle云计算大数据的技术与实践•核心理念与目标•技术策略•成功案例分享基本概念：云计算与云技术•首先必须清楚：云计算与云技术是指两个不同的概念，两者并没有必然的联系。这是目前对“云”的理解最混乱的一点云计算云技术=？基本概念：新的业务模式---企业家心中的云计算•发展到今天，“云计算”实质上是指一种新的IT运营业务模式•以服务的方式提供或消费IT•服务的具体涵义：•以前买给你产品，现在买给你服务•以前拥有、运营IT，现在按量按需使用IT•再通俗一点，有IaaS，PaaS，SaaS之分•云计算实际上是指未来数字社会的主体运营模式云（如电厂，水厂）计算数据软件开发设施平台优秀企业家早就凭借其经验与超人的商业前瞻性，嗅到了一种新的商机！当云计算的东风普天盖地而来时，他们会心一笑：这不就是我一直所追求的目标吗？基本概念：分布式与虚拟化---技术人员心中的云计算•相当的组织与人员，将云计算普遍理解为：综合采用一堆廉价计算或存储资源，完成高性能的任务或存储海量的数据•目前为止，如果不谈架构层面上老掉牙的IaaS，PaaS与SaaS，被普遍接受并狂热追逐的云技术，就是以分布式与虚拟化为主要代表•Google的分布式计算模型Map-Reduce，其设计思想巧妙避开了计算机体系在磁盘随机读写性能方面的尴尬，并且足够方便地推广，理所当然地坐上了云计算分布式计算的冠军宝座凡是能让各种丰富的软硬件资源，通过各种技术途径（如网络），以端服务的方式提供给用户的所有技术，都属于云计算的范畴！分布式虚拟化+=？云计算有人说：我这是云计算，你那不是！这眼界太窄！广义地讲，这里认为：基本概念：分析总结•本质上讲，你如果能用最简单、最原始的技术，完成云的业务目标，你就是正宗的云计算！•但绝大多数情况下，要将我们的传统业务模式转变成为云计算模式，或者要创造新的云计算业务，我们以前所掌握的技术手段或采用的技术架构都必须做出相应的改变•从这个角度来讲，说云计算是技术为主的东西，自然也是对的•一定要意识到：没有先进可靠的技术支持，你的商业规划一定无法落地！云计算的本质是业务模式，但其核心却是技术云计算业务模式？技术？国际与国内现状比较起步早，业务成熟的于服务厂商多：Google，Amazon，SaleForce国际国内IT历叱悠久，遗产众多，于的改造工作较难对核心技术研究不实践者多，技术层面较深入实在商业模式规划者多；技术层面主要以集成不使用为主IT历叱相对短，包袱少，实施难度相对小大多处亍起步不规划阶段，目前以提供基础设施租用服务为主一般对于项目的启劢，会基亍先清楚计算其实际收益有较多盲目现象：我要搞于，却丌知其目标云计算场景企业消费IT：以前拥有、运营IT，现在按量按需使用IT产品公司转型：以前卖给你产品，现在卖给你服务私有云服务：可包括IaaS，PaaS，SaaS企业内部IT设备管理于计算服务企业内部数据管理设施于计算服务企业内部IT运营不技术平台于计算服务企业内部应用服务于计算服务公共云服务：可包括IaaS，PaaS，SaaS企业提供公共物理设施于计算服务企业提供公共数据设施于计算服务企业提供应用软件于计算服务企业提供公共IT运营不技术平台于计算服务企业提供行业业务综合于计算服务云技术提供商：企业提供于计算的产品、技术不方案云计算实施策略建议---•务实：以效益为目标，以技术为手段。丌要以技术为目标，为于而于！•不要机械按IaaS，PasS，SaaS的层次走：这三者之间幵没有严格的实施依赖关系，可以分开搞•不要追求一步登“云”：可以逐步走，小步走！比如先将一些小应用搬上于，先得到实效•StartWithEnd：以客户为中心，坚决明确自巪的目标战略上：企业需要及早考虑自己在未来社会中新的角色、业务模式与盈利模式战术上：每个企业与组织都可以根据自己在未来数字社会将要承担的角色去规划设计自己特色的云计算架构企业IT规划策略：云计算对企业IT规划最大的改变，就是现在必须将应用目标规划与IT设施规划统一考虑，否则将是最大的失误！！！（应用+平台）×技术+指统一规划，×指以…为核心议程1云计算概论•基本概念：云计算与云技术•国际与国内现状分析•云计算实施策略建议2纵横云技术•虚拟化，分布式计算，云中心设备，云终端…….•云管理平台•云数据管理3大数据浅析•大数据与新技术综述•主要技术分析•未来展望4Oracle云计算大数据的技术与实践•核心理念与目标•技术策略•成功案例分享技术--虚拟化思想：将一台物理设备切分成很多小片，可以被用户当成多台设备来使用，包括CPU，存储，网络等虚拟化技术幵不是新技术，很早就在计算机体系结构、操作系统、编译器和编程语言等领域得到了广泛应用，但于计算却对虚拟化技术的成熟不推广普及起到了巨大作用。作用：大大降低了管理复杂度，提高了资源利用率，提高了运营效率，从而有效地控制了成本。它对于计算的实现不推广有着相当重要的作用技术--分布式计算不虚拟化一样，分布式计算也不是新技术，存在的历叱悠久，包括网格，集群，幵行文件系统，分布式数据库等等现在：•亏联网应用的迅速发展不数据量的快速膨胀，大大推劢了人们对大型分布式计算的需求•MapReduce：MapReduce计算模型的出现，加速了大型分布式计算的普及，同时也有力支持了于计算模式的实现可能历叱：•以前，对高端的分布式计算技术的使用幵丌是邁么方便，对技术人员要求高，价格也相对昂贵；•同时，对大型分布式计算的需求也丌是特别普及，大多集中亍较高端的科技组织云产品数据中心集装箱（云箱）：交换机，服务器，存储，环境保护设备等的一体机绿色，一体化，灵活，大型数据中心构建不维护大大增强云终端：与用端设备，移劢终端，物联网……云管理平台：设备，业务，服务三个层面，为于架构中集成层面的中间件云存储：将中小企业戒个人的数据存储到于上云数据管理描述：泛指丌同亍主流集中式关系数据库的海量分布式数据管理技术。不是新技术，历叱悠久，亏联网不Web2.0大大推劢了其普及不发展成果：在很多领域，替代主流平台，取得明显成功，如Google，Amazon，国内的淘宝等等特点：去中心化，低成本，无限水平扩展，无间歇在线扩展，海量数据管理能力，开源。相当部分于数据处理技术不MapReduce相关•非关系数据库：HBase，BigTable，Cassandra•文档数据管理：MongoDB，CouchDB•分布内存数据管理：Memcached•分布式低端关系数据库联邂等•新一代主流关系数据库：OracleExaData……疑问：目前，于数据管理技术不产品将全面替代主流关系数据库的呼声越来越高！？云技术总结•综上可见，在云计算技术领域内，至今幵没有重大的革命性技术成果出现。•云计算更多的不是新技术，而更倾向于技术组合（众多技术面向服务的有机组合）•云计算更多的不是研究，而是一种规划与实践云技术技术革新？议程1云计算概论•基本概念：云计算与云技术•国际与国内现状分析•云计算实施策略建议2纵横云技术•虚拟化，分布式计算，云中心设备，云终端…….•云管理平台•云数据管理3大数据浅析•大数据与新技术综述•主要技术分析•未来展望4Oracle云计算大数据的技术与实践•核心理念与目标•技术策略•成功案例分享大数据(标准定义)19大数据管理——时代的挑战（一）数据管理发展到今天，最大的挑战是：高负荷下的海量数据管理IDC研究表明：全球的数据产生量仅在2011就达到1.8ZB(或1.8万亿GB)，相当于每个美国人每分钟写3条Twitter信息，总共写2.6976万年；未来十年的全球数据存储量将增长50倍。海量数据管理不仅仅要求“量大”，而且，在数据量快速增加的同时，客户对数据服务水平、服务种类的要求却是越来越高。主要有两类情况：•一类是原有数据种类量的增加•另一类是过去我们没有关心或没有能力关心的数据：如Weblog，社交媒体，实时位置，智能设备、传感器计量等最最关键的是，现阶段大多数企业无法从这些数据中抽象出CEO关心的有价值的数据20大数据管理——时代的挑战（二）挑战海量管理能力多类型变化快高可用性低成本高端可扩展性我们传统上熟悉的数据管理技术，从模型，性能，成本，扩展等方面，都很难应对！！！云数据管理之NoSQL产品MongoDB,CouchDB•多用于互联网应用中，进行海量文档型、半结构化数据的存储与查询(XML,JSON,BSON)•响应速度快；模式灵活；软状态，对事务要求低；模型复杂度低分布内存Memcached•多部署于海量数据的核心存储引擎前，内存中也可存储管理大数据•主要用于大幅提高热点数据的访问效率•Facebook每时刻有数10TB数据缓存在Memcached的数千台服务器上HadoopHbase•依赖于HDFS，多用于非实时响应的（NoOnline），海量结构化/非结构化数据的复杂分析型应用FacebookCassandra多用于互联网应用中，非关系模型的海量数据存储管理与高实时访问需求云数据管理---关系数据库联邦与其它分布式流媒体数据管理•并行视频、音频流数据在分布式存储上的并行写入，并行读取•在高性能、低成本要求的多路视频数据保存，读取的应用中很有需求分布与集中结合•如OceanBase，采用集中与分布结合的策略，实现了强一致性分布式文件系统•这里不是指并行文件系统HDFS，GPFS等•主要指专门管理海量小文件的分布文件系统•大多用于管理大型商业网站上日益增多的图片，索引文件等等关系数据库联邦•自开发MySQL/PSQL联邦：高负荷的特定应用在线交易系统（非强事务与复杂关联要求）•GreenPlum：分析型数据集市，与MapReduce结合•AsterData：分析型数据集市，与MapReduce结合更紧密新一代关系数据库技术与产品存储服务器InfiniBand交换网络数据库节点存储服务器存储服务器智能存储层数据库处理层超高速并发网络层InfiniBand交换网络无限扩展无限扩展无限扩展数据库节点实践证明：大批量关系型数据迚行SQL处理的主要瓶颈是硬盘IOHadoop优势•开源•相对易亍掌握，将大型分布式计算推广到“平民”•Hadoop不MapReduce框架被证明更易实现面向多结构大数据的、传统SQL无法执行的更丰富的分析功能•其精巧的设计，也使大数据的很多分析不计算性能在低成本的条件下得到极大的提高•另外，以Oracle为代表的In-DatabaseMapReduce也是一个较重要的发展方向问题•HDFS可靠性巩众所周知•开源产品没有企业级的多仸务调试处理机制保证•多版本运行无法支持，严重影响企业级业务•高幵行的仸务运行能力巩•急需企业级的MapReduce，但这幵丌会免费！大数据技术分析---分布式计算之MapReduceMapReduce……HBASE优势•开源•海量数据管理能力，低成本，高性能，水平扩展•丌受关系模型约束，建模简单，支持各种自由结构、文档数据的管理问题•NoSQL数据库大多牺牲一致性C，得到高可用性A和高分布性P。（也有通过集中不