腾讯云实践之路

@InfoQinfoqchina腾讯云实践之路刘颖微信：waitquiet腾讯云架构•腾讯云总体架构介绍•网络架构演进•虚拟化架构演进•存储架构演进•安全架构简介腾讯云总体架构CEECMEMCBS外网访问接入云接入平台Storage&Bigdata--PAASCOS腾讯云分析微云CVM云门户平台（开发者）PAASIAASComputingCDBStorage--IAAS云门户控制台云管理APIData腾讯云服务整体解决方案快速云通道Bgp网络高性能，高稳定性云虚拟机CVM可靠弹性块存储,多种硬盘选型，丰富IO策略CBS泛网络，restful接口，对象存储服务COS一体化web应用运行环境，弹性伸缩，中小开发者的利器CEE兼容memcache协议，超高性价比分布式key-value缓存CMEM海量分布式数据处理平台和数据市场社交个人存储，支持妙传，疾速访问，短连接分享腾讯云分析微云腾讯云网络架构App1VM1Netagent安全负载均衡健康检查App2VM2VM3Virtualswitch隧道管理状态管理路由管理流控物理网卡1物理网卡2DDoshttp解析业务网络存储网络静态加速劢态加速健康检查隧道管理状态管理路由管理外网统一接入TGW宿主机内网负载均衡，访问后端存储服务和自己搭建的服务静态加速用图片等内容，动态加速智能选路，优化传输路径TGW外网统一接入集群，外网IP和虚拟机解耦，四七层负载均衡，防御各种DDOS攻击租户之间网络隔离，双向流量限制VM之间带宽基于HTB的QoS控制存储网络和业务网络分离，互为备份TGWA母机（SG）BCSDNGW（networkACL）VirtualPrivateGatewayA母机（SG）BC用户B用户CInternet专线VPNECNQCloudVirtualNetworkOverlay腾讯云SDN网络架构•OC点就近接入，超过300个接入点，网络带宽30T，超过国内领先的CDN厂商•寻找最佳路由，按照质量选择路由，而不是最短路径选择路由•允许多连接并发•通过冗余数据的传输，部分丢包不需要重传•优化TCP协议，减少超时重传的发生，尽量快速重传，避免窗口减少造成发送速度下降•对外隐藏server端的IP，分布式防御DDoS的移动加速信鸽（XGPush）是专业的移劢APP推送平台，支持百亿级的通知/消息秒级触达移劢用户。开发者可以方便地嵌入SDK，通过API调用可或视化操作界面，实现对特定用户发送通知/消息，提升用户活跃度，激活沉睡用户，并实时查看推送效果。业内最海量高并发的推送能力实时监控推送效果捕捉瞬间丰富标签十亿并发定制单通道省电优化心跳包省流量秒级触达省电省流量实时效果7亿QQ用户百万级标签数据灵活定向推送精准触达目标人群精准定向海量信息第一时间触达用户虚拟化平台•各组件通信协议统一，Http+Jason，异步通信提高效率•服务统一注册管理，消息队列解耦•尽量保证数据的一致性，任务可重入，冗余数据异步清理•不断迭代优化的装箱算法，提高资源利用率•故障快速发现CEE(CloudElasticEngine)云服务账号SVN服务虚拟终端路由配置页面配置更多…外网负载均衡服务Web服务Web服务容器(PHP/JAVA/Python…)Web服务Web服务容器(PHP/JAVA/Python…)7层负载均衡CPUNetworkI/OMemory内网负载均衡服务监控告警动态调度安全审计CMEMCDBCMQ…应用自己搭建在CVM上的内网服务通过域名提供外网服务，响应来自用户的请求CEE通过域名方式对外提供服务，通过域名代理层响应用户的HTTP请求，分析HTTP请求，并转发到后端的Web服务上；Case1CEE提供基础架构以及支持多种语言环境的Web服务容器，应用部署并运行在CEE的Web服务容器里，不同Web服务之间是隔离的。1个Web服务对应1至多个Web服务器实例。Case2通过CEE内部的7层负载均衡服务，将HTTP请求路由到对应的Web服务，并映射到相应的Web服务器实例上。Case3CEE通过内网负载均衡服务，使用虚拟IP/Port来访问内网的用户数据，存储系统及其它服务。Case4CEE通过云服务帐号进行统一管理，开发者通过云服务帐号访问SVN库并上传代码，使用页面配置功能进行部署在CEE上的应用的页面配置，使用虚拟终端在Web服务器实例上进行日志查看，使用路由配置功能获得CEE以外的其它内网服务的虚拟IP/Port，使用Session服务实现分布式session功能，使用FetchUrl访问外网服务Case5CEE通过自身的监控和日志上报系统自动上报和汇总日志信息，反馈请求访问质量，为开发者提供指引性数据和视图，并对部分需要开发者参与的故障或异常进行告警，以便开发者及时解决问题。Case6IWAS告警策略ContainerCVM监控数据Trigger5seconds数据采集获取告警策略产生资源告警动作策略获取动作策略DESCMEM/CDBMatrixContainer产生扩缩容动作执行扩缩容VarianceAnalysisBillingFrontEnd……分析资源使用是否达到临界值分析告警应该采取什么动作SVN拉取代码CVM镜像扩容更新实际资源使用率动态调度，提高单机的资源使用率差异化镜像存储和P2P镜像传输，快速扩容精度达5秒的细粒度监控，故障自动恢复负载均衡CEE资源自动调度CBS云盘块设备LBASSD集群系统调度系统LRU系统全局锁拥有SSD的性能，SATA的成本冷热分介质是降低成本很重要的手段SATA集群系统预读提升顺序读的能力合适的合并写提升集群的写吞吐量降低虚拟化带来的损耗，提升并发度业务和存储双平面，减小拥塞，提升可用性-CloudDatabase提供便捷、易用、安全和省心的关系数据库服务-提供单机、主从和一主多从多种冗余架构-运营数据：超过500T的容量，全天访问量接近1000亿CDB存储优化CDB高性能版MySQL内核优化介质优化，云化存储，提高性价比InnoDBpage大小修改为4KB，减少doublewrite拒绝没有where的drop的delete语句让InnoDB直接对接后端存储，减少I/O路径高性能CDB压缩降低空间COS腾讯COS文件云存储数据云处理管理强大弹性无限空间大文件存储分布式存储全网CDN节点加速结构化存储防盗链能力多语言开发包多样同步工具强大API支持权限分离图片无损压缩图片裁剪图片水印图片格式转换200P的存储容量每日新增数据超过30T流量超过300Gb/s事务处理统一调用接口分配管理目录管理访问管理存储管理UserIndex管理by用户目录树结构fileIndex管理逻辑文件名称IDX-Proxy全局IDX的访问控制点CHX-Proxy全局CHX的访问控制点资源管理系统监控备份恢复Security安全控制MD5Check文件排重Upload上传文件download下载文件CHX实际存储单元CHX实际存储单元CHX实际存储单元Trans-Proxy全局Transaction访问控制点COSCMEM前置层MEM集群SSD集群冷数据下沉，热数据激活7天内有访问的数据算热数据CMEM内核态接入，减少系统数据包拷贝，减少用户态和内核态的切换ASN.1-ASN2.0自研极度简化的编码格式，空间换时间，只解码指针位置内存块固定大小，快速分配回收，变长数据的长度预测读取。20网络防护第三方DB外网安全检测第三方服务器公网漏洞扫描内容检测DNS检测内部安全检测基线检测入侵检测挂马检测安全审计Log分析Shell审计DB审计外访检测安全APIDDoS防护云waf网络阻断网络防护业务流量Oauth漏洞API验证码软token网络防护主劢外访主劢外访云安全整体框架21云安全产品简介主要安全问题防护情况说明•具备百G级DDoS防护能力，每月防护数百次攻击，实现秒级实时防护，保证客户业务不受影响DDoS防护•对使用了云安全漏洞扫描的业务，进行按日扫描，日均发现漏洞上千个•提供云waf功能，对恶意攻击进行透明过滤，时延毫秒级漏洞防护•多渠道及时发现客户云服务器被入侵情况，日均发现近十个入侵事件•提供弱密码检测工具、证书登录等方式，帮助客户进行预防入侵检测ThankYou特别感谢合作伙伴特别感谢媒体伙伴（部分）