云计算-运营商业务支撑系统解决方案

电信运营商业务支撑系统的云计算解决方案亚信联创云计算开发组目录电信云计算总体框架典型应用系统的云计算框架关键技术分析可达的业务支撑效果电信云计算总体框架传统终端智能终端软终端融合终端业务网络自营业务合作业务管理平台数据库门户、客户端类应用平台能力平台业务接入网关（能力开放）各类业务能力（视频、语音、消息、互联网）网络IT支撑系统MSSBSSOSSIT基础设施IT基础设施基础云（IDC＋业务平台）IT云服务云电信能力(业务、信息等)互联网能力(谷歌、微软等)天翼空间服务云：在基础云上满足多种客户需求、聚集各类业务应用的云基础云：提供存储、计算等基础资源和业务平台能力的云IT云：基于IT内部业务应用系统、基础设施的云其他：云安全与标准化商务模式和合作策略BSS的云计算在企业云中的位置•BSS的云计算位于电信云计算框架的IT云中。着力于在云计算环境下完成对业务的支撑，将云计算的诸多优势应用到电信业务支撑领域。•BSS的云计算能够提供IaaS、PaaS、SaaS服务，达到从基础设施到最上层的软件服务都能对业务快速准确响应的目地。电信云计算总体框架典型应用系统的云计算框架关键技术分析可达的业务支撑效果总体框架图SaaSSaaS建立在应用云上，通过对应用的虚拟化来灵和的对外提供SaaS应用云1、应用云实现应用处理的云化2、应用云包括具有高可用性的一组云控制节点，若干计算节点、一组具有高可用性的集中排重节点和一组统一的对外接口节点。3、应用云中包含两个子网，一个控制子网和一个数据子网，图中蓝线表示控制子网，黑线表示数据子网。4、数据库RAC借助第三方分布式数据库产品实现高效能数据库在PC上的部署主机云计费应用通过将零散主机整合并虚拟成若干逻辑主机，形成一个主机云云存储存储对上层应用透明，使用第三方的云存储产品来构建数据中心云平台控制节点(主)云平台控制节点(备)业务处理节点1业务处理节点2集中排重1集中排重2数据库SID数据库SID数据库SID计费应用数据库RAC采集接口机统一接口1统一接口2SaaS主机云SANNAS联机磁盘StorageFoundation云存储应用云主机云主机云应用云应用云云平台控制节点框架云资源管理：1、主机资源整合2、心跳检测2、云规模动态伸缩3、屏蔽失效节点4、构造全局的高可用环境云计算管理：1、资源计算2、拥塞控制3、动态均衡4、动态服务路由作业调度：1、任务单生成、删除2、任务单执行3、任务单状态变迁4、任务单信息修改进程队列管理：1、进程起停2、进程状态3、进程并发控制命令集：1、业务系统起停2、云资源起停3、应用集中监控4、云环境集中监控预处理批价排重入库出库分发云控制机命令集流程调度引擎云计算引擎云资源管理云计算管理作业调度进程调度进程队列任务队列云计算资源池节点资源池应用处理业务处理节点框架业务处理子系统1、每个节点都有一套通用模块的副本（除排重模块）。2、排重模块部署于集中排重子系统。3、业务处理子系统同外部众多系统的接口采用统一接口管理，由一组安全的外部路由实现预处理排重批价高额入库分发全国平台CDMA1XISMP统一接口与省接口与帐务接口与经分接口网管接口管理功能平衡稽核日志管理集中监控查询统计信息发布数据管理回收重做规则、资料管理省际漫游全业务、全流程集中排重节点框架1、排重索引按最小业务集分文件系统存放2、排重子系统每个节点mount1个或多个排重索引文件系统3、业务处理子系统根据各处理节点的路由表按路由表当前情况向某个排重节点请求排重服务，若未找到路由需要向控制子系统申请刷新路由表4、排重子系统某个节点受理排重服务、返回排重结果5、当排重子系统集群结构发生变化后，排重路由要相应的变化，排重子系统要向控制子系统上报路由变更，控制子系统广播路由变更给业务子系统6、排重子系统每个节点mount的排重文件系统、IP地址被定义为两种不同的资源组，当某个节点不可用时，控制子系统需要将资源组移交某个可用节点。集中排重节点排重索引文件系统1排重索引文件系统n业务处理节点云平台控制节点排重服务路由表排重路由维护客户端排重服务路由表排重服务请求排重服务受理排重服务路由上报排重服务路由维护服务端排重资源组管理排重计算统一接口节点框架1、接口文件分类别存储于不同的文件系统。2、每个接口节点mount1个或多个接口文件系统，并在一个固定的IP上对外提供这几类接口服务。3、对于消息类接口不需要mount接口文件系统，只需绑定一个固定的IP地址。4、业务处理子系统根据各节点的接口作业计划决定需要发出什么样的接口服务请求并提供什么样的原始接口数据给统一接口子系统。5、业务处理子系统根据接口服务路由来判断对于某个接口服务应该向那个接口节点发起服务请求。6、统一接口子系统根据接口作业计划实时的相应接口服务，并实时对接口数据做数据整合。7、统一接口子系统根据接口作业计划按照作业运行表格周期性的向外提供接口服务。统一接口节点接口文件系统1接口文件系统n业务处理节点云平台控制节点接口服务路由表接口路由维护客户端接口服务路由表接口服务请求接口服务受理排重服务路由管理接口路由维护服务端接口资源组管理接口数据实时整合接口作业计划统一对外服务统一IP接口作业计划数据库RAC节点1节点2节点3VIP1ServiceListenerInstance1DatabaseClusterWareOperatingSystemServiceListenerInstance1DatabaseClusterWareOperatingSystemServiceListenerInstance1DatabaseClusterWareOperatingSystem...CRS服务...VIP2VIP3...共享存储...内部网络连接数据库文件日志文件ORC和VotingDisk数据文件、控制文件日志文件、归档日志文件集群注册信息和表决盘...共享存储…*ASM方式*NFS方式*GPFS方式*HACMP裸设备*上述方式的某种组合云存储•云存储基于第三方存储产品来实现，例如赛门铁克的StorageFoundation。•第三方云存储产品在异构存储上建立统一的存储服务。•第三方云存储产品在存储功能的使用上对上层应用透明，上层应用并不关心数据在云存储中是怎么存放的。•第三方云存储产品能提供可靠的、灵和的不间断的存储服务。电信云计算总体框架典型应用系统的云计算框架关键技术分析可达的业务支撑效果关键技术分析-控制子网和数据子网en0en1节点1en0en1节点2en0en1节点3数据子网：外部应用服务、内部业务数据交互控制子网：内部控制信息交互在云环境中的每个节点至少拥有两块网卡，一块网卡连接数据子网，用于外部应用服务和内部数据交互，另一块网卡用于专用的云内部控制信息交互，如心跳信息，业务路由交互等。关键技术分析-云资源管理1、云资源管理是云引擎的子功能集，采用C/S模式部署，云管理服务端部署在具有高可用性的云控制节点上，云管理客户端部署在各处理节点上。2、云资源管理包含若干主机资源消息包和心跳检测消息包，各种包使用的协议和交互频度根据具体情况决定。3、心跳检测包使用可靠的面向连接的TCP协议，主机资源抓取消息包采用典型的网管协议SNMP。4、云资源管理采用单个服务器为最小资源分配单元策略将各物理节点转换为云内部的若干虚拟节点。云控制节点云处理节点控制子网云管理服务端（云引擎的子功能模块）HA云管理客户端（云引擎的子功能模块）主机资源消息包TCP、SNMPTCP、SNMP主机资源消息包心跳检测包心跳检测包节点虚拟（将物理节点转换为云中的逻辑节点）虚拟节点池123关键技术分析-业务路由管理1、在云环境中若有新的业务请求，那么该业务请求在云中的什么位置处理是由业务路由来控制的。2、在云控制节点维护了全云环境中全部路由，应用处理节点都有一个路由缓存，当缓存中没有对应的业务路由时需要向云控制节点发起业务路由查询请求。3、云控制节点需要根据主机负载、网络拓扑的变化以及业务特性动态的计算当前路由，当计算出来的当前路由和路由表不同时要修改路由表并广播到所有的应用处理节点。云控制节点虚拟节点2节点1节点4节点31、路由表初始化消息广播2、路由表变更消息广播3、接收路由变更请求4、根据主机负载、网络拓扑、业务特性动态计算当前路由5、路由查询相应6、路由寻址1、路由表副本2、路由变更请求3、路由变更响应4、路由查询5、路由寻址关键技术分析-云控制机作业调度机制批次1批次2批次3节点资源池业务路由任务分配负载情况拓扑变更预处理批价入库出库分发1、控制机根据计算节点的负载情况、集群拓扑变更情况整合出云内的一个资源池2、控制机按一定时间间隔根据资源池计算出每一类业务的每一类服务的当前路由，若路由有变跟则刷新控制机路由表，需要广播的路由（排重服务路由）变更要广播到所有节点3、当有事务处理时，控制机将源文件打包成批次，并根据路由表计算出该批次的本环节路由，按路由分配本批次的处理任务4、批次生成条件包含文件大小、文件数量、时间频度、排重单位（交换机、地市）关键技术分析-云控制机进程调度机制批次1批次2批次3节点资源池业务路由任务分配负载情况拓扑变更TCP/IP云控制节点应用处理节点流程调度服务端流程调度客户端任务接收任务分析是否有空闲进程进程启动/占用空闲进程任务处理1、当云控制节点有新的任务需要分配时，流程调度服务端按照任务分配策略向某个应用处理节点分配该任务。2、应用处理节点接收到该任务后，对任务进行分析，确定处理该任务的进程组。3、若该节点有空闲的该进程组则直接占用这组进程，若该节点没有空闲进程则启动新的进程组处理该任务。4、任务处理。5、任务处理完毕后进程保持休眠状态直到有新的任务到达或者超过了休眠时间退出。关键技术分析-处理机故障接管机制控制子系统节点n节点m心跳异常路由异常批次n批次n文件系统n批次状态回退批次nMountMountIp迁移控制线路/路由上报数据线路批次接管1、故障接管包括节点再造和应用、存储迁移两部分2、当控制线路上的心跳异常时建议切换到数据链路上再做心跳检测，若两条链路上的心跳都异常则节点发送故障3、在业务处理过程中节点宕机时定义为到该节点的路由异常4、节点异常后需要将故障点的存储迁移到接管点(mount文件系统),若需要做IP接管则故障点的IP地址也要迁移到接管点。5、异常节点当前处理的任务失败，控制子系统将该任务状态回退到该异常节点的上一个环节，并重新按作业分配机制分配该任务关键技术-统一参数管理DBMS控制子系统参数维护节点参数审计参数发布结算处理节点节点1节点2节点3共享内存1共享内存2共享内存3参数发布广播审计1、参数统一存储在RAC数据库。2、参数管理功能由控制子系统完成。3、结算处理节点共享内存中维护了一套参数副本供本节点结算处理使用。4、参数管理功能分为参数维护、节点参数审计、参数发布功能。5、参数维护提供一套参数增、删、改、展示等功能。6、参数审计包括各节点参数一致性审计和参数逻辑完整性和一致性审计7、参数发布是当DB中参数有变更时，控制子系统将参数变更广播到所有的节点，各节点从DB同步参数到本节点共享内存关键技术-节点的热插拔节点n控制子系统加入1、扩展控制子网和数据子网，动态调整两个子网的通信路由。2、动态更新业务路由3、将节点加入云资源管理和云计算管理中4、节点可用节点n卸载1、收缩控制子网和数据子网，动态调整两个子网的通信路由。2、动态更新业务路由3、将节点从云资源管理和云计算管理中去除4、节点卸载云计算引擎服务端卸载命令集云计算引擎客户端云计算引擎客户端节点加入命令集1、节点的热插拔主要依靠云计算引擎来实现，云计算引擎是C/S模式2、当有新节点加入时，在新节点上安装云计算引擎客户端，通过一组命令集将节点动态加入到云计算环境中，然后该节点会从控制节点下载程序版本和构建上下文环境。3、当有节点卸载时，通过在控制子系统的一组命令集将该节点释放。4、节点真正释放前需要等待正在处理的任务都结束关键技术-集中监控监控