人工智能实验报告27

2019年8月1日星期四精简IT，敏捷商道——华为FusionSphere3.0基础架构虚拟化解决方案部门：企业BGIT云计算产品线版本：V1.1(20130228)2交流提纲华为技术方案和特点典型应用场景传统IT发展趋势3传统IT基础架构面临的问题服务器资源利用率低、成本高烟囱式发展，缺乏弹性业务故障恢复周期长购买硬件安装软件业务调试问题业务扩展、上线时间长消耗时间4中外运实例0%10%20%30%40%50%60%70%20012005201030个机房利用率低于50%280台服务器利用率低于20%不断降低的效率200120052010组件数不断繁琐的运维不断拉大的供需差距200120052010IT投资持续增加•持续购置硬软件，投资压力大，风险高•运维成本不断增加，达到IT支出的50%业务系统可靠性低•业务系统可靠性参差不齐•单点故障，快速定位难，故障解决时间长，缺乏管控工具烟囱式业务•系统分散，维护复杂，运维成本高•系统独立、资源共享困难业务上线周期长•建设周期长•业务部署困难•上线新的系统需要几个月2010年硬件型号达到15种，软件种类达到26种中外运每年业务需要IT投入增长率为20%5我们的共同使命让业务部署更弹性降低硬件平台系统开销让业务部署更快捷降低业务中断时间弹性资源池6基础架构“虚拟化”是解决之道基于“云计算”技术，将基础设施“虚拟化”，是IT的根本解决之道数量整合资源弹性高可用快速上线、自动化减少服务器数据，提升服务器利用率、降低能耗根据业务需要，弹性提供资源HA冗余机制，减少故障宕机时间，提高业务服务水平业务快速上线、自动化管理，为客户提供更优质的服务虚拟化基础设施资源池管理7交流提纲华为技术方案和特点解决方案总览FusionComputeFusionManagerFusionIntegration典型应用场景传统IT发展趋势FusionStackFusionStorage8服务器存储网络安全网关机房设施物理硬件FusionComputeDC咨询规划运维优化专业服务FusionIntegration负载均衡HuaweiAPIVDC方案设计部署与业务迁移华为FusionSphere3.0解决方案云管理层虚拟平台物理层设施层办公系统租户ERP系统业务层FusionManager权限控制业务部署模板FusionStorageFusionNetworkFusionStack并行计算计算存储网络VPC弹性IPPortal迁移9交流提纲华为技术方案和特点解决方案总览FusionComputeFusionManagerFusionIntegration典型应用场景传统IT发展趋势FusionStackFusionStorage10华为FusionCompute3.0主要参数关键指标参数每VM最大支持vCPU(VirtualSMP)64每VM最大支持内存1TB每VM最大虚拟磁盘容量64TB每VM虚拟磁盘数量11每VM虚拟网卡8每服务器最大逻辑CPU核160每服务器最大物理内存2TB每服务器最大上电虚拟机25611华为FusionCompute3.0主要参数关键指标参数单逻辑集群支持的HA/DRS物理机100单逻辑集群支持虚拟机3,000单VRM支持逻辑集群32单VRM支持物理机200单VRM支持虚拟机5,000VRM最大级连数量16级连VRM最大支持物理主机3,200级连VRM最大支持虚拟机80,00012华为FusionCompute3.0关键特性类别关键特性安装部署管理节点资源最小2vCPU2GRAM虚拟机，自带Linux，不需另购Windows操作系统安装过程安全和配置分离，单节点+VRM40-60分钟可创建虚拟机兼容性硬件兼容性兼容业界主流IT厂商服务器、存储、网络硬件OS兼容性兼容主流Windows、Linux操作系统，以及特殊行业操作系统：比如中标麒麟操作系统。易用性管理系统完全B/S客户端，免安装，向导式、拖拽式操作，易用性好主要功能虚拟计算热迁移/HA/FT资源热添加(CPU、内存、网卡、磁盘)动态资源平衡(DRS)Qos(CPU、内存、网络)虚拟存储存储热迁移增量快照/快照Live合并磁盘扩容存储自动精简配置（瘦分配）虚拟网络分布式虚换机/网络安全管控13业界卓越的性能VMVMVMVMVMVM虚拟平台与硬件Blue=DiskIOGreen=NetworkIOTile1Tile2Tile3TileN……SpecVirt是评估虚拟化环境下服务性能的权威基线测试工具，在业界具有极高的认可度，由Intel等重量级厂商推广。相同硬件上,跑的Tile数量越多，Tile的得分越高，代表虚平台性能越好.FusionCompute高性能虚拟化平台关键技术NUMA技术VM启动时，自动选择轻载物理节点，尽量将VM的vCPU和内存分配在同一物理节点上，避免跨节点访问内存，提升效率大内存页面避免内存碎片，提升内存存取效率网卡直通每个虚拟网卡拥有单独队列，直通物理网卡厂商硬件Tile上限得分华为IBMX3850403890VMwareIBMX38503938244433320246VMware华为CitrixMicrosoftRedhat中兴中国电信研究院性能测试结果（2012年10月）SpecVirt官网发布数据对比•每个逻辑集群支持100物理机（业界最佳），适用于高性能、大规模业务群部署，降低冗余物理机比例•每逻辑集群支持3,000台虚拟机，适合桌面云等规模大、性能要求不高业务部署•高可靠性设计，VRM（虚拟化部署或者物理部署）主备部署，保证系统可靠性•超大容量设计，通过最多16个VRM级连，最大可支持3,200物理机，80,000虚拟机部署（业界最佳）集群管理VRM（主备）CNAVMVMVMVMVMVMVMVMVMVMCNACNACNACNASANSAN集群管理VRM（主备）CNAVMVMVMVMVMVMVMVMVMVMCNACNACNACNASANSAN集群管理VRM（主备）CNAVMVMVMVMVMVMVMVMVMVMCNACNACNACNASANSAN技术特点与价值逻辑集群2逻辑集群1逻辑集群10逻辑集群11逻辑集群20逻辑集群21VRMWebClientVRMWebClient16QoS精细化资源管控，保障VIP用户利益FusionComputeOracleWebBT下载FusionCompute黄金VIP白银VIP普通用户私有云业务场景•以企业/运营商内部应用的重要程度设置资源优先级IDC出租场景•以客户的重要程度设置资源优先级支持CPU、内存、网络多维度QoS控制，满足灵活Qos控制需求17灵活的虚拟机配置调整•vRAM在线/离线添加、离线删除•vCPU在线/离线添加、离线删除•vNIC在线/离线添加、离线删除•注：vCPU、vRAM在线添加功能不是所有OS都支持。对于不支持热添加的OS，FusionCompute支持重启虚拟机生效。•根据虚拟机的需求，灵活调整其配置•纵向扩展有效保证单个虚拟机QoS•与横向扩展有机结合，保证集群QoS根据业务需要，灵活调整虚拟机的CPU、内存、网卡数量配置技术特点应用价值FusionCompute虚拟资源池虚拟机APP18兼容行业特殊操作系统FusionComputeFusionCompute控制域客户VM客户VM客户VM客户VM客户VM客户VM定制化…PV驱动PV驱动PV驱动PV驱动PV驱动PV驱动PV后端驱动兼容一个新的操作系统，需要厂商提供配套的PV驱动程序，华为具备PV驱动开发能力。FusionCompute除了兼容主流的Windows、Linux操作系统之外，还兼容国家中标麒麟操作系统。并具备定制特殊操作系统的能力。19内存复用技术，提高50%虚拟机密度内存共享，写时复制内存共享：虚拟机之间共享同一物理内存空间（蓝色），此时虚拟机仅对内存做只读操作写时复制：当虚拟机需要对内存进行写操作时（红色），开辟另一内存空间，并修改映射内存置换内存气泡VM1VM2VM3物理内存DiskVMVM内存置换：虚拟机长时间未访问的内存内容被置换到存储中，并建立映射，当虚拟机再次访问该内存内容时再置换回来VM1VM2内存气泡空闲已使用已使用空闲内存气泡：Hypervisor通过内存气泡将较为空闲的虚拟机内存释放给内存使用率较高的虚拟机，从而提升内存利用率•华为虚拟化平台，通过智能复用以上三种技术将内存复用比提升至150%，领先C等友商•同等内存资源条件下，虚拟机密度提升150%，降低50%的硬件(内存)采购成本技术特点与价值20交流提纲FusionCompute计算可靠性安全自动化兼容性网络存储21网络自适应优化，小包提高效率达30%提升实时性网络小包业务的处理效率达30%项目优化前(虚拟平台)优化后(虚拟平台)优化前(客户机)优化后(客户机)Rx(kpps)538.91676.0314.2508.4CPU(%)306.4607.3506.1527.2Rx(kpps)CPU(%)0500100015002000优化前（虚拟平台）优化后（虚拟平台）优化前（客户机）优化后（客户机）技术特点•网卡接收网络报文时，采用自适应中断聚合技术，批量接收网络小包，减少中断次数，可提高10%的小包•优化单线程网络报文处理机制，采用多线程、无锁技术，提高并发性能，可提高30%的小包接收/发送性能应用场景•网络游戏、QQ等（大量512B以内网络小包，要求低时延)22iNIC直通技术满足高IO业务需求MACRx1Rx1Rx1Tx1Rx2Tx2Tx2Rx3Rx3Tx3Tx3Tx3vNICVM1vNICVM2vNICVM3vNICVM1vNICVM2vNICVM3模拟交换机L2模拟交换机L2分类排序引擎直通iNIC普通NICMAC普通虚拟网卡技术•软件模拟交换机所有功能，单一中断和队列，导致VM间频繁切换、整体效率低下•吞吐量：3.6Gbit/s直通智能网卡虚拟技术•L2分类排序功能卸载到iNIC完成，L2模拟交换机只完成简单的数据复制工作，每个虚拟机有独立的发送/接收队列•无损热迁移、内存复用功能•吞吐量：9.5Gbit/s高性能iNIC直通技术，满足数据库、媒体处理等高IO业务虚拟化的要求23VM12分布式虚拟交换机FusionComputeVM3VM2VM1FusionComputeVM13VM11虚拟交换机1（Web）虚拟交换机2（App）技术特点•集中配置管理界面，方便用户理解网络•支持Vlan、二层安全策略、网络带宽控制等应用价值•避免虚拟机迁移带来的丢包•更灵活的网络策略控制服务器A服务器B24交流提纲FusionCompute计算可靠性安全自动化兼容性网络存储25存储热迁移，避免存储系统维护业务停机技术特点•迁移带宽可控，避免对正常业务产生影响•单服务器并发迁移数量8路•支持跨集群迁移适用场景•存储系统下电维护•优化虚拟机存储I/O性能•高效管理存储容量（回收存储碎片等）Page25FusionCompute客户机客户机客户机客户机FusionCompute存储热迁移，让业务部署更为灵活存储热迁移26存储自动精简配置，大幅减少存储投资技术特点•虚拟机用户看到的始终是配置容量•实际物理磁盘仅占用正在使用的物理磁盘空间降低存储成本40%(与应用模型有关）•相比常规存储方式，单个虚拟机的IOPS会有所减少适用场景•存储容量较大，IOPS要求不高Page26显著提升存储利用率，明显降低存储成本物理存储20GB100G虚拟分配：120G实际分配：80G物理空间：100GFusionCompute普通型20GB精简型40GB精简型80GB20GB20GB4