亚信打造低成本高业务能力的云化IT支撑系统

亚信联创-云计算开发组打造低成本高业务能力的云化IT支撑系统目录IT支撑云化目标关键技术验证情况和案例云化部署的重点和难点云化部署的范围和方案应用级别云计算平台的效果回顾方案实施的条件议题的选择1、电信IT系统能否使用云计算带来成本的优势和业务能力的提升。2、做技术性的探讨，研究电信IT系统使用云计算的关键技术验证情况和重点难点工作。3、研究电信IT系统实施云计算方案的范围和条件，探讨方案实施的可行性。IT支撑云化目标•应用的PC化和刀片化•用并行文件系统取代磁盘阵列和数据库•高可用性的全年不间断服务•完全的动态伸缩高业务能力低成本IT支撑云化目标关键技术验证情况和案例云化部署的重点和难点云化部署的范围和方案应用级别云计算平台的效果回顾方案实施的条件分布式应用部署方法节点1节点2节点3VIP1ServiceListenerInstance1DatabaseClusterWareOperatingSystemServiceListenerInstance1DatabaseClusterWareOperatingSystemServiceListenerInstance1DatabaseClusterWareOperatingSystem...CRS服务...VIP2VIP3...共享存储...内部网络连接数据库文件日志文件ORC和VotingDisk数据文件、控制文件日志文件、归档日志文件集群注册信息和表决盘...共享存储…*ASM方式*NFS方式*GPFS方式*HACMP裸设备*上述方式的某种组合ClusterWareClusterWareClusterWare采用PCServer实现群集已在Oracle的RAC环境中得以验证，通过Oracle的CRS组件，将多台PCServer群集起来，形成能承担较大负荷的分布式数据库服务器。根据资源调度应用的方法云环境下的调度通过云调度引擎实现，云调度引擎通过petri网建模，实现在云环境下根据资源情况调度应用、并发处理、冲突检测等。数据压缩及分散方法压缩算法压缩比率压缩耗时解压耗时LZOP1.02rc151.013.73.4压缩算法IDA(InformationDispersalAlgorithm)原理IDA是一种数据分片备份容错算法，将一个文件F，假设长度为L，分成n个小片Fi（1=i=n）,每片大小为L/m，因而只要任意选择n中的m片，即可重建整个文件F。若n=m，则是将数据平均分为n份保存，冗余度0%；若n=2,m=1，则是主备模式保存，冗余度50%；例1F=1,2,3(L=3)n=3,m=2则m1=1,2m2=2,3m3=1,3冗余度：50%例2F=1,2,3,4,5,6(L=6)n=3,m=2则m1=5,7,9m2=9,12,15m3=13,17,21或m1=5,7,1m2=1,4,7m3=5,1,5(把所有数按8取模)冗余度：33%注：A=[1,1],[1,2],[1,3]数据中心达到什么样的效果IT支撑云化目标关键技术验证情况和案例云化部署的重点和难点云化部署的范围和方案应用级别云计算平台的效果回顾方案实施的条件如何适应应用逻辑的各种计算和存储任务应用逻辑分类后台重复任务处理交易类消息处理数据分析处理大数据存储计算和存储任务分类统一调度文件传输预处理规整排重信息编解码消息转发代理海量话单存储资料管理数据抽取数据清洗数据转换数据加载数据挖掘任务分类整合整合任务分类，设计针对性的解决方案，以稳定的基础能力方式提供给不同应用系统使用云化部署的重点工作•系统能平滑过渡到云计算处理正确性保障、集群的稳定性保障、集群应对单一节点故障的能力、程序版本和业务参数各节点的一致性保障。•调度的稳定性和准确性负载均衡的保障、分布式环境中事务的一致性保障、调度面临异常的恢复能力。•动态伸缩的技术保障资源的接管能力、计算能力的迁移、数据的迁移。•多系统部署资源的共享和竞争，应用、数据的隔离，安全性保障SaaS的如何实现•云环境下应用软件的多实例运行。•应用软件的多实例共享硬件资源，同时各实例在应用和数据上是隔离的。•各实例根据服务对象提供个性化的服务，各实例的服务内容丰富且各不相同。•达到虚拟应用软件的效果。•在云平台上开发面向终端用户的3G业务，为终端用户提供丰富多彩的服务。IT支撑云化目标关键技术验证情况和案例云化部署的重点和难点云化部署的范围和方案应用级别云计算平台的效果回顾方案实施的条件云化部署的总体范围和方案节点布控数据子网和控制子网硬件与网络环境多数据中心划分云计算平台以C/S模式部署于控制节点和计算节点上应用版本的自动发布分布式文件系统根据资源情况动态调度应用部署于各数据中心节点具备一定的数据冗余度具备一定的数据恢复能力节点热插拔屏蔽节点故障网络部署方案en0en1节点1en0en1节点2en0en1节点3数据子网：外部应用服务、内部业务数据交互控制子网：内部控制信息交互在云环境中的每个节点至少拥有两块网卡，一块网卡连接数据子网，用于外部应用服务和内部数据交互，另一块网卡用于专用的云内部控制信息交互，如心跳信息，业务路由交互等。基于动态路由的调度方案云控制节点虚拟节点2节点1节点4节点31、路由表初始化消息广播2、路由表变更消息广播3、接收路由变更请求4、根据主机负载、网络拓扑、业务特性动态计算当前路由5、路由查询相应6、路由寻址1、路由表副本2、路由变更请求3、路由变更响应4、路由查询5、路由寻址1、在云环境中若有新的业务请求，那么该业务请求在云中的什么位置处理是由业务路由来控制的。2、在云控制节点维护了全云环境中全部路由，应用处理节点都有一个路由缓存，当缓存中没有对应的业务路由时需要向云控制节点发起业务路由查询请求。3、云控制节点需要根据主机负载、网络拓扑的变化以及业务特性动态的计算当前路由，当计算出来的当前路由和路由表不同时要修改路由表并广播到所有的应用处理节点。云控制机作业调度机制1、控制机根据计算节点的负载情况、集群拓扑变更情况整合出云内的一个资源池2、控制机按一定时间间隔根据资源池计算出每一类业务的每一类服务的当前路由，若路由有变跟则刷新控制机路由表，需要广播的路由（排重服务路由）变更要广播到所有节点3、当有事务处理时，控制机将源文件打包成批次，并根据路由表计算出该批次的本环节路由，按路由分配本批次的处理任务4、批次生成条件包含文件大小、文件数量、时间频度、排重单位（交换机、地市）批次1批次2批次3节点资源池业务路由任务分配负载情况拓扑变更预处理批价入库出库分发云控制机进程调度机制批次1批次2批次3节点资源池业务路由任务分配负载情况拓扑变更TCP/IP云控制节点应用处理节点流程调度服务端流程调度客户端任务接收任务分析是否有空闲进程进程启动/占用空闲进程任务处理1、当云控制节点有新的任务需要分配时，流程调度服务端按照任务分配策略向某个应用处理节点分配该任务。2、应用处理节点接收到该任务后，对任务进行分析，确定处理该任务的进程组。3、若该节点有空闲的该进程组则直接占用这组进程，若该节点没有空闲进程则启动新的进程组处理该任务。4、任务处理。5、任务处理完毕后进程保持休眠状态直到有新的任务到达或者超过了休眠时间退出。节点的热插拔-构造动态伸缩的硬件环境1、节点的热插拔主要依靠云计算引擎来实现，云计算引擎是C/S模式2、当有新节点加入时，在新节点上安装云计算引擎客户端，通过一组命令集将节点动态加入到云计算环境中，然后该节点会从控制节点下载程序版本和构建上下文环境。3、当有节点卸载时，通过在控制子系统的一组命令集将该节点释放。4、节点真正释放前需要等待正在处理的任务都结束节点n控制子系统加入1、扩展控制子网和数据子网，动态调整两个子网的通信路由。2、动态更新业务路由3、将节点加入云资源管理和云计算管理中4、节点可用节点n卸载1、收缩控制子网和数据子网，动态调整两个子网的通信路由。2、动态更新业务路由3、将节点从云资源管理和云计算管理中去除4、节点卸载云计算引擎服务端卸载命令集云计算引擎客户端云计算引擎服务端卸载命令集云计算引擎客户端节点加入命令集云计算引擎客户端处理节点故障接管方法控制子系统节点n节点m心跳异常路由异常批次n批次n文件系统n批次状态回退批次nMountMountIp迁移控制线路/路由上报数据线路批次接管1、故障接管包括节点再造和应用、存储迁移两部分2、当控制线路上的心跳异常时建议切换到数据链路上再做心跳检测，若两条链路上的心跳都异常则节点发送故障3、在业务处理过程中节点宕机时定义为到该节点的路由异常4、节点异常后需要将故障点的存储迁移到接管点(mount文件系统),若需要做IP接管则故障点的IP地址也要迁移到接管点。5、异常节点当前处理的任务失败，控制子系统将该任务状态回退到该异常节点的上一个环节，并重新按作业分配机制分配该任务IT支撑云化目标关键技术验证情况和案例云化部署的重点和难点云化部署的范围和方案应用级别云计算平台的效果回顾方案实施的条件应用级别云计算平台的效果回顾小型机昂贵存储设备昂贵的数据库廉价服务器群集廉价存储群集分布式存储环境资源整合可动态伸缩的业务环境应用高可用，业务不中断多数据中心、具备一定的数据恢复能力IT管理简单有效成本优势业务支撑效果优势投资效能最大化IT支撑云化目标关键技术验证情况和案例云化部署的重点和难点云化部署的范围和方案应用级别云计算平台的效果回顾方案实施的条件方案实施的总体条件•硬件方面能基于PCServer和刀片部署，同时从利旧的角度考虑也要能支持小型机的部署。•规模满足主要的极限数据如计费、帐务共需要约2500core的CPU处理能力、6个月的账单和原始话单共需要1.1PB的存储能力、约100Gbps的网络带宽要求。•第三方软件方面使用云平台的关键技术取代传统的数据库等第三方软件。•应用软件改造要求在计算节点上部署云计算平台、在数据中心节点上部署分布式文件系统，应用软件业务逻辑通过API调用改造为在云环境下具有业务处理能力和事务一致性能力的云应用软件。应用改造--API调用改造前改造后初始化扫描目录/内存业务处理数据提交获得数据结束接受批次信息获得数据数据提交解析批次信息业务处理初始化提交批次信息结束循环处理循环处理注册进程信息注销进程信息应用系统模块级的一般处理过程应用改造--数据按批处理语音数据短信数据数据业务多媒体SP数据漫游数据网间网内批次打包云平台控制节点文件服务器批次定义节点批次信息批次信息获得业务数据业务数据处理节点采集系统结算系统计费系统其他系统按优先级、频度、大小、数量打包应用改造—应用受云平台统一调度进程信息批次信息主机资源管理信息（CPU内存存储）云平台控制信息（节点启用停止信息）…123456云平台控制端云平台客户端云平台参数管理信息云节点管理信息业务处理流程信息业务处理生产计划批次收发进程起停资源控制节点起停云计划时间进度3月20日–测试内容确定5月20日–测试环境搭建7月15日–测试完成6月–测试标准制定7月–详细设计方案1234510月–系统开发和部署11月67第一阶段第二阶段