云系统灾备技术

灾备系统可靠性按照整个系统的灾备要求，整个系统可从以下可靠性来实现系统的可用性，从而使得灾备系统的业务安全性得到有效的保障。大项细项说明数据中心可靠性云计算方式跨地域数据中心通过云管理平台对整个多地数据中心集中管理的方式来实现更智能更自动化的容灾备份应用可靠性以传统方式为主按照高可用的要求来设计应用架构，主要有应用层负载均衡、集群等技术云计算方式将服务器架构精简成几个镜像文件，利用通过IT自动化技术一步到位的恢复服务器实例和数据数据可靠性传统方式采用传统的远程数据复制技术和灾备软件技术可实现在线模式/离线模式、同步/异步方式，并可采用完全备份、增量备份、差异备份等不同策略云计算方式分布式存储系统、快照、模板、镜像等技术数据库可靠性传统方式采用完全备份、增量备份、差异备份、HA等技术中间件可靠性以传统方式为主类似于OracleRAC、CICS集群、DB2HADR等工具操作系统可靠性以传统方式为主类似于LVM镜像、HACMP等工具虚拟机可靠性云计算方式HA、热迁移、Vmotion、FT、快照、模板、回滚、虚拟机复制等云计算技术硬件可靠性服务器冗余的设备/处理器/I/O适配器卡/电源/内置磁盘RAID技术保护存储设备（含带库）外置磁盘,I/O总线、SAN交换机、LAN、LAN交换机冗余设备/部件、磁盘RAID、多路径(Multi-Path)软件磁盘复制通过磁盘复制的可用性网络设备冗余的部件、冗余设备链路冗余链路和链路的负载均衡其中，北京天云趋势科技有限公司能提供的平台关键技术主要体现在以下几个方面：云节点层面(1)提供云虚拟节点级别的备份方案云计算平台的底层技术之一——虚拟化技术中提供的HA高可用性功能确保了虚拟机级别实现冗余可靠性，从而有效保障上层业务应用的连续性；此外，虚拟机快照、模板、回滚、迁移功能以及相关的存储技术可以实现本地的数据恢复和业务恢复。云虚拟节点高可靠性：为提高云节点的可用性，Elaster提供的云虚拟节点的HA配置，支持HA模式中的一主一备的可靠性部署；具备HA的虚拟机在宕机后，系统会在同类型的其他主机上启动该虚拟机的备份，确保客户业务的连续性（如下图所示）。也可采用虚拟机集群的方式通过Elaster集成的负载均衡功能实现高可靠性。此功能对于用户的关键应用业务特别适用，可最大程度的保证关键业务的持续性和不间断性。云虚拟节点复制和快照：Elaster提供了在线虚拟机复制、虚拟机快照等，虚拟机快照覆盖内存及存储数据，能够按照增量方式实现快照的保存，也能对整个虚拟机全部一次性进行快照和保存。其中，对快照可采用完全备份、增量备份、差异备份、HA等不同的备份策略来实现。云虚拟节点模板：对于采用同样操作系统和同样应用软件的虚拟机而言，通过此功能可在3-5分钟内实现需在物理机上0.5-3个小时的部署时间，可大大节省管理员部署业务应用的时间。(2)能提供云物理节点级别的备份方案提供物理级别的备份方案，特别是其上最关键的设备。为了保证系统连续运行，必须采用关键业务所处的服务器集群结合传统的双机热备份容错技术，以解决硬件的故障。从物理上保证关键应用软件运行所需的物理环境的可靠性。而且虚拟机快照、模板和迁移功能也能提高物理级别的容灾备份的高效性。云物理节点集群技术：整个云平台系统在部署实现后，逻辑上主要分为四个层次：由下而上分别是主机(Host)集群(Cluster)机架(Pod)资源域(Zone)。其中，集群是云平台的第二层。主机是云平台资源池的最基础的单位。主机可以根据需要随时动态的加入云平台以提供额外的虚拟机资源。最终用户无法直接访问物理主机，也不能决定他们的虚拟机在哪台物理主机上运行。在云平台资源不足时，通过Elaster管理可动态添加新增的主机来解决资源不足的问题。集群是云平台的第二层。一个集群由一组共享同一台存储设备的服务器构成。同一个集群的主机必须使用相同的虚拟层Hypervisor类型。同一个集群的主机必须位于同一个子网中，同一个集群中的虚拟机可以在不同主机间动态迁移(livemigrate)。从而来提供物理节点的灾备。云节点迁移：迁移技术为服务器云虚拟节点提供了便捷的容灾方法。目前电力行业的云计算数据中心系统所采用的云计算管理平台对于主流的虚拟化平台如VMware、XenServer、KVM都提供了很好的迁移功能。迁移服务器可以为用户节省管理资金、维护费用和升级费用。以前的X86服务器，体积比较“庞大”；而现在的服务器，体积已经比以前小了许多，迁移技术使得用户可以用一台服务器来同时替代以前的许多台服务器，这样就节省了用户大量的机房空间。另外，云虚拟节点中的服务器有着统一的“虚拟硬件资源”，不像以前的服务器有着许多不同的硬件资源（如主板芯片组不同，网卡不同，硬盘、RAID卡、显卡不同）。迁移后的服务器，不仅可以在一个统一的界面中进行管理，而且通过云平台管理系统，可实现在物理服务器因为各种故障停机时，可以自动切换到网络中另外相同的虚拟服务器中，从而达到不中断业务的目的。总之，迁移的优势在于简化系统维护管理，提高系统负载均衡，增强系统错误容忍度和优化系统电源管理。(3)跨地域数据中心支持容灾备份天云趋势TCloud云管理平台在异地数据中心之间对管理服务器集群既做了本地的备份方案考虑，又做了异地主从式的互为备份。同时在管理设计时，可考虑了多条链路负载均衡线方式来增强备份。下图所示是异地数据中心之间的备份解决方案，该方案同时提供了多数据中心之间统一管理的解决方案和备份方案。总之，TCloud云平台容灾解决方案相对于传统灾备方案，具有以下优势：首先，整个云计算备份解决方案中利用了一种直接到目标架构的方法避过备份服务器，将数据直接从资源服务器发送到存储介质上。这加快了备份速度，占用带宽更少，而且避免了备份服务器的瓶颈。同时，备份服务器需要的CPU、内存和存储资源更少，因为整个过程不需要处理整个数据集。其次，云计算备份解决方案还可以具有其他一些节省时间和完善备份流程的功能特性。多个同步备份任务不会受到物理存储目标或者备份服务器吞吐量的限制而流畅运行。因为这些解决方案并不是将每个虚拟机视为一个物理服务器，所以这些解决方案只需要处理很少代表虚拟机的镜像文件就可以了，而且不需要处理虚拟机中实际包含的上千份离散的文件。第三，云计算备份解决方案改善了异地数据中心之间的备份，并提高了异地数据中心系统的有效管理。数据层面——分布式存储系统云节点的容灾服务主要是在底层采用云分布式存储系统。该系统是由北京市云基地提供的TCloud分布式存储系统。该系统底层采用的是分布式并行文件系统，可支持上层应用从集群中的任一云计算虚拟化节点直接访问存储系统上的数据。该系统能对基于此系统的应用数据进行3-16分备份，同时能采用分布式的计算来对这些数据进行快速的并发处理。如下图所示，该系统可通过Hadoop技术将PC机和PC服务器上的物理磁盘有效整合成一个虚拟对象，变成一个统一的存储资源池。在存储文件时，该系统可实现将一份数据同步复制成多份（最多到16份）进行存取和读写，由于其底层的物理存储资源也是分布在多台物理节点上，节点之间通过计算机网络相连，分布式文件系统的服务基于客户机/服务器模式来满足分布式存储系统的应用。这样，最终形成的分布式存储系统可做到多点数据备份，线上允许部分节点失效而不影响业务的不间断运行。TCloud分布式存储系统充分体现了云计算的特点，相对于传统存储技术而言，具有以下特点：高性能并行的文件读写有效提高并发访问性能，最大可扩展至4096计算机节点，能高速、稳定的通讯，并可实现单点管理与控制，实测带宽速度取决于底层物理磁盘所处资源节点的物理数量，实际项目中最大可达数TB/s。智能并行分布式机制和客户端数据缓存机制降低读写延迟，可有效避免IO读写的瓶颈。可自定义数据块大小，覆盖范围从16K到64M，特别适合TB级文件，PB级的文件的应用系统。高可用性支持多路径并发访问底层的物理磁盘。3-16份原始数据可确保任何一份数据丢失都不会影响整个系统的使用。在不停止服务的情况下可以动态加入和移除节点或磁盘而不影响应用的使用。系统的自修复功能易于数据和业务容易恢复。高可扩展性可扩展至4096个计算机物理节点，而每个计算机节点的硬盘空间取决于所挂载的硬盘数量。这样可保证存储空间足够大。可支持数千个节点的集群系统。支持不同品牌存储设备、硬盘、处理器和服务器。能动态地增加或减少节点与存储。高容错性某个数据文件或某一段数据出问题，都有存放在其他物理节点上的同样数据，并可通过系统自动检查对该受损数据进行自动修复。某个节点、磁盘或连接出现问题时，仍然可以提供上层应用对外提供的访问服务。易管理和节约投资自动在各个节点间同步配置文件和系统信息。可在集群内任何一个节点上完成对该分布式存储系统的管理任务，命令将在所有节点上生效。支持快照功能和数据备份功能。管理网络和数据网络可以分开。可充分利旧，且对所用存储和服务器没有特别的性能要求。应用系统自动恢复技术从数据中心角度来说，云计算技术将服务器架构精简成几个镜像文件，这使得整个服务器实例可由几个镜像文件数据来代替，利用云平台管理系统中的IT自动化技术可以在恢复数据的同时恢复整个服务器。而传统备份是要求故障服务器在数据重新加载并恢复服务之前找回并启动。所以，更加完善的云计算灾备解决方案利用了这种将服务器架构变成几个镜像文件的精简性，可通过IT自动化技术一步到位的恢复服务器实例和数据。云灾备模式关键技术随着社会信息化程度的提高和企事业单位对信息系统依赖性的增强，信息系统的容灾备份成为灾难发生时确保业务连续性和数据可用性的重要手段。云灾备作为灾备领域的一个新兴概念，它的出现为企业提供了一个行之有效的解决方案。云灾备是指将灾备看做一种服务，由客户付费使用灾备服务提供商提供的灾备服务的模式。采用这种模式，客户可以利用服务提供商的优势技术资源、丰富的灾备项目经验和成熟的运维管理流程，快速实现客户的灾备目标，降低客户的运维成本和工作强度，降低灾备系统的总体拥有成本。云灾备模式之所以被提出并逐渐得到应用，相关技术的发展起到了至关重要的作用。1重复数据删除技术重复数据删除技术是指将存储系统中存在的大量内容相同的数据删除，只保留其中一份，从而缩减存储空间的技术。在云灾备中，该技术既能大幅减少灾备中心存储的数据量，降低灾备中心的建设和运维成本，又能大幅减少数据备份和恢复过程中用户和灾备提供商间的数据传输量，提高备份和恢复的性能，是一项十分重要的技术。按照检查重复数据的粒度不同，重复数据删除技术可以分为对象/文件级和块级的重复数据删除。文件级删重技术是在文件级别的粒度下查找重复数据的方法。该技术计算速度快，但粒度太粗，即使不同文件内部存在很多相同的数据，也不能被检测并实现冗余消除。块级别的重复数据删除根据切分数据块方法的不同，又可分为固定分块和可变分块的删重技术。固定分块技术是使用固定大小的分块策略在存储系统中识别相同数据的一种方法，可以提供很高的处理速度，但是对编辑和修改的序列很敏感，处理效率低。变长分块是一种基于内容技术的分块方法。与固定分块不同的是它的块断点不以一个预设值来确定，而是以其文件内容进行计算，当满足一定的标准之后方认为其为块断点。其优点是对于插入问题和删除问题处理高效。无论是插入还是删除一小部分字节，只会影响一到两个块，其余的块保持不变。其主要缺点是计算开销较大和检测重复块时指纹值索引查找的开销较大。由于其对数据变化的低敏感性，变长分块逐渐成为重复数据删除技术的主流。随着灾备中心的规模不断增大，存储的数据量和访问量不断增加，单一节点上的重复数据删除方法已不能满足性能和容量的需求。除上述基本重复数据删除技术外，一些优化和改进技术对云灾备是至关重要的，包括高性能、可扩展的、分布式的重复数据删除技术，以及为提高灾备中心数据可靠性的高可靠重复数据删除技术。1.1高性能可扩展重复数据删除技术在提高重复数据删除性能方面，可以使用减轻磁盘瓶颈技术。在重复数据删除系统中，为了节约成本，