阿里云计算及大数据

阿里云计算&大数据实践云翰（王宇德）云架构师[e-mail]双十一购物狂欢节的背后聚石塔2014年双十一的全网订单，由阿里云上的专属电商工作平台“聚石塔”处理完成无线成交243亿，占比42.6%背后的大数据技术非线性增长•2009年，0.5亿元；•2010年，9.36亿元；•2011年，33.6亿元；•2012年，191亿元；•2013年，350.19亿元；难点•交易额增长过快：时序分析，指数平滑法，ARIMA等模型失效；•异常点：上市，全球化，海淘；•数据噪音大：行为数据，收藏，流量，加购等；•灰色模型：预测594亿；•多元时序分析：交易前3个月的日交易额。预测•离线预测：提前一天预测14年双十一总成交额574亿；误差千分之五。•实时预测：分时销量，平均误差5.8%；提纲•计算模式的变革•阿里云简介•大规模系统架构设计实践•云计算与大数据平台•阿里云参考案例60年代中期198119962011大型机PC机和小型机互联网数据中心云计算以服务方式提供计算能力按需获取，降低门槛（资金、技术、时间……），使计算成为象水电一样的社会公共基础设施计算模式每15年左右会发生一次变革计算能力被极少数机构独占，一般企业无法使用企业购买硬件设备获得计算和存储能力，存在架构不灵活、资源利用率不高、易被厂家锁定不可控等问题放弃自建数据中心，开始硬件的租用更低的门槛，更大的回报6阿里巴巴——让没钱参加广交会的小企业把商品卖到国外余额宝——10元钱也可以理财淘宝——让没钱开门店的小商家也能致富阿里云——100元也能用IT菜鸟物流——让农民也可以用淘宝阿里贷——1元钱也可以贷款全球IT视野：谁代表未来？7云服务增长率：45%传统IT整长率：4%45%VS4%4%45%中国云机遇：8改变20年“重硬轻软”的惯性；计算机＋软件－云服务＋数据应用软件系统软件上云服务云服务生态阿里云大数据与DT创新9系统日志数据库日志视频文档应用日志图片操作日志安全日志位置信息DT变革客户数据信用信息交易保障安全评级消费习惯定向推广行为分析旧时代的数据•IT产生的附属品DT时代的数据•数据成为核心•商业价值的驱动力•应用成为数据的表现形式提纲•计算模式的变革•阿里云简介•大规模系统架构设计实践•云计算与大数据平台•阿里云参考案例阿里巴巴集团阿里巴巴集团三十多个事业部菜鸟物流智能物流骨干网淘宝天猫Alibaba.com1688.comAliexpress电子商务支付宝小贷保险基金小微金服数据平台聚划算传统的数据中心VS阿里云•交付方式：根据预计的峰值软硬件需求一次性采购软件+硬件，系统集成后由客户/合作伙伴维护,关注产品参数Linux集群资源管理（伏羲）安全管理（钟馗）远程过程调用（夸父）分布协同服务（女娲）（大禹）集群布署（神农）集群监控分布式文件系统（盘古）任务调度（伏羲）云服务引擎ACE弹性计算服务ECS关系型数据库服务RDS开放存储服务OSS开放结构化数据服务OTS开放数据处理服务ODPS数据中心（x86Server）•交付方式：以服务的方式提供，统一运维，关注服务SLA阿里云IOE等阿里云产品的设计理念13多地域、多可用区容灾大规模效应降低成本服务化方式开放飞天5K•2013年8月15日，阿里巴巴集团正式运营服务器规模达到五千台（5K）的“飞天”集群•历经6年,从零开始•10万CPU核，100PB存储空间•每天处理PB级别数据•支持广告，搜索，个性化，信用分析和风险管理•2014年7月1日，ODPS正式对外开放，阿里巴巴成为世界上第一个用同一个平台平台支持内部数据业务并对外提供服务的公司•天池大数据算法大赛•7296个大学生团队，351个团队来自大陆以外国家和地区•比较KDD‘12算法大赛：658个团队坚持你相信的，相信你坚持的飞天的技术特色•同一个平台支持离线和在线应用•搜索：240亿网页离线处理，130亿网页的在线服务•邮箱：日处理邮件亿量级，日发邮件千万量级，10毫秒级访问延时•更加灵活的离线作业框架，比MapReduce快30%•基于权能的“最小权限”安全策略，植根于系统底层飞天的技术特色•实时线上滚动升级（热升级），不中断应用服务•分布式的监控和诊断•高可用架构：可用性99.9%•多副本冗余：数据可靠性10个9完整的体系架构17数据中心Linux集群部署Deployment集群监控Monitoring弹性计算服务ECS关系型数据库服务RDS开放数据处理服务ODPS开放结构化数据服务OTS开放存储服务OSS分布式文件系统DistributedFileSystem分布协同服务DistributedCoordinationService任务调度JobScheduling安全管理SecurityManagement远程过程调用RemoteProcedureCall资源管理ResourceManagement“通用”云服务市场行业解决方案（政府，金融，电商）阿里云产品线扩展服务基础服务基础架构行业eCom.Fin.Gov.…GamesMobileIoTMediaODPSECSSLBRDSOSSOTSOCSCDNCloudShieldCloudWatchDPCONSSLSOpenSearchHangzhouQingdaoBeijngHongkongShenzhenUSACE200+CDNNodeADSElasticComputeDatabaseOASAdmin&SecurityLargescalecomputeStorage&CDNESSDRDSPTSCDPApplicationServicesVPC2014年阿里云产品服务计划2014.22014.52014.72014.12014.82014.92014.102014.11负载均衡SLB开放缓存服务OCS2014.122014.3开放数据处理服务ODPS内容分发网络CDN简单日志服务SLS开放结构化数据服务OTS虚拟私有云VPC，EIP•全新的API以及权限体系，能够自己定制管理监控需求，或是利用API开发第三方工具提供给其他开发者使用。•全新改版的管理控制台以及新的移动客户端上线，供用户实时监看云资源的状态。•RDS拥有单独的DB管理工具。•机房的节点，拥有杭州、青岛、北京、香港，下半年还会陆续开放南方节点。云磁盘CloudDisk2014.42014.6流计算服务OSPS分布式关系数据库服务DRDS弹性伸缩服务ElasticScaling计算服务DIKU视频服务消息队列服务MQS采云间开放搜索服务OpenSearch数据备份服务OAS性能测试服务PTS阿里云优势20完整能力拥有业界最为完整的云技术体系自主技术核心技术自主掌控历经验证经过大规模客户案例的实证安全体系满足技术，管理，运维多方面安全需求阿里云的客户生态：已经服务于90万客户…21阿里云计算服务（弹性计算、存储服务、大规模计算、大数据）API万网建站服务互联网创业公司SaaS服务市场行业软件开发商ISV系统集成商SI电商金融政务…————————————————————————应用服务————————————————————————个人开发者中小企业、创业企业客户中大型企业解决方案—————————————————————————客户—————————————————————————在线注册用户登录在线配置在线支付自动开通使用续费释放改配在线开通云计算资源服务阿里云上的系统可自由迁入迁出，有效保护用户IT资产用户的系统不会被锁定在阿里云上•阿里云服务提供业界标准的RESTfulAPI开放接口REST：RepresentationalStateTransfer，表述状态转移，是一种针对网络应用的设计和开发方式，可以降低开发的复杂性，提高系统的可伸缩性。•为所有“事物”定义ID：URL•通用的接口定义：GET、PUT、POST、DELETE•无状态通信：服务器端不能保持除了单次请求之外的，任何与其通信的客户端的通信状态•阿里云所有云服务均提供RESTfulAPI接口•SLB，ECS，OSS，RDS，OTS，ODPS，…•阿里云提供数据迁移工具，支持从传统的数据库(如OracleDB)将数据迁移到云上，反之亦然。•阿里云提供VPC虚拟联网功能，支持传统IT与云计算的混合部署模式安全地连接云和现有数据中心通过VPC将传统数据中心与阿里云实现内网互联阿里云vSwitchvSwitchInternetGateway172.16.0.0/16172.16.11.5EIP:115.28.93.65172.16.11.6EIP:115.28.93.68172.16.12.110172.16.12.114子网1172.16.11.0/24子网2172.16.12.0/24互联网区内网区ServerServerServerServer172.16.21.11172.16.21.12172.16.22.13172.16.22.14子网172.16.21.0/24子网172.16.22.0/24专线客户数据中心vRouter提纲•计算模式的变革•阿里云简介•大规模系统架构设计实践•云计算与大数据•阿里云参考案例大规模系统架构设计关键技术点26伸缩性——快速响应业务爆发时的资源开销需求，提供无差别的用户体验容量——系统的性能一定会到达瓶颈，如何进行更科学的对软硬件容量需求进行评估和预测容错——机器一定会坏,人一定会写出bug,当软硬件数量到一定规模时，小概率事件就成为常态运维——如何应对从一台到上千台甚至上万台服务器的运维量变，通过自动化工具和流程管理大规模软硬件集群，对系统进行快速部署、升级、扩容和维护。性能——如何能在亿级用户高并发访问的情况下保证系统的低延迟响应，提升用户体验服务监控——服务级别的监控与分析,发现调用链路的依赖和瓶颈服务化——如何将业务逻辑功能抽象成一个个原子服务，对服务进行封装和组合，并基于分布式系统环境部署提纲•计算模式的变革•阿里云简介•大规模系统架构设计实践•阿里大数据平台•阿里云参考案例云计算与大数据：阿里大数据平台万每日作业数阿里金融超过1000万笔贷款累积发放贷款近1000亿PB每日处理数据量大数据处理能力阿里金融业务创新PB累计数据总量阿里巴巴+淘宝+支付宝整体架构云基础设施离线计算引擎ODPS计算平台实时OLAP引擎ADS流式计算引擎Galaxy数据服务化接口：实时|离线开发平台数据同步CDP：实时|离线统一账号体系统一元数据服务运维平台数据中心算法平台BI套件开发套件交换平台数据市场BASE大数据平台海量数据加工数据仓库&BIDW多方数据交易数据开放智能推荐|…数据业务应用海量数据挖掘数据挖掘应用场景应用市场大数据中心——业务运营模型大数据中心——大计算、云存储能力基于阿里云的数据体系数据规模数百万表结构化数据总量100P月增数据3P业务线全覆盖外部淘宝用户、商品、交易、浏览、互动、服务、卖家、海外天猫商品、交易、浏览、互动、服务、企业、品牌、物流、海外聚划算本地商户、商品、交易、浏览、互动、本地服务阿里无线来往、无线淘宝、旅行、彩票、点点、友盟、设备、位置、APP阿里云云OS、天猫盒子、万网、CNZZ站外数据广告联盟、淘宝联盟阿里金融中小企业、信用、微贷数据体系高德地图POI、门址库、定位数据、商圈、地图数据、导航一淘全网商品、浏览、搜索、资讯、神马搜索支付宝用户、支付、转账、理财、缴费B2BCBU、ICBU、全球速卖通中小企业、交易、浏览、商品数字娱乐阿里游戏、虾米音乐、阿里视频用户中心兴趣图谱地理位置•覆盖全国网民：5亿•覆盖移动设备：6亿•标签维度：3000+•在线访问：100亿+/天•秒级实时更新、百万级QPS在线调用•超过32万核的云端计算能力、100P+分布式存储•真实门址：10亿+•POI库:3000W•生活圈：100W，覆盖1亿+网民。•500多个细分类•每天超过10亿在线位置更新•用户覆盖：1.8亿•8大兴趣类型数据体系Userprofile统一id的