专题11《复制技术基础培训》(V10)

复制技术基础培训作者：李远芳工号：04459目录复制基本概念同步复制实现原理异步复制实现原理两种复制方式的对比存储系统中复制技术实现的层次复制的应用范例我司产品复制技术实现常见存储厂商的复制功能介绍复制基本概念——复制技术的由来•第一个磁带单元在上世纪50年代发布。•存储的发展过程经历了从磁带技术到磁盘阵列，从磁盘阵列到网络存储技术，从网络存储技术到数据的备份及容灾。•现如今存储数据朝着更加的安全，易于存储，易于管理，易于分析的方向不断发展。•目前的容灾技术主要包括备份和复制两种。复制基本概念——复制技术概念•复制是指利用复制软件把数据从一个设备复制到另一个设备或者一个设备的一个磁盘复制到另一个磁盘，生成一个数据副本。•复制技术实现方式：–同步复制–异步复制复制基本概念——复制与镜像的对比•复制与镜像比较：–镜像是在两个或多个磁盘或磁盘子系统上产生同一个数据的镜像视图的信息存储过程。–区别：•镜像：数据虽然存在两个物理设备中，但是OS和逻辑层次只能识别到一个逻辑的设备；•复制：在OS和逻辑层能够识别到两个逻辑设备。复制基本概念——复制与备份的对比•复制与备份比较：–备份是指利用备份软件，把数据从磁盘备份到磁带进行离线保存。最新的备份技术也支持磁盘到磁盘的备份，也就是把磁盘作为备份数据的存放介质，以加快数据的备份和恢复速度），即D2D。–区别：•复制：数据副本是数据处理系统直接可以访问的，不需要进行任何的数据恢复操作；•备份：数据副本离线保存，需要在数据恢复后才能够访问。复制基本概念——复制与拷贝的对比•复制与拷贝比较：–拷贝即COPY，是无增量的捕捉机制，每次都要完全拷贝；–区别：•拷贝：–需要手工进行，无法自动化配；–是对数据进行完全拷贝；•复制：–既可手工进行，也可按照一定的策略自动触发；–可对数据进行增量复制。目录复制基本概念同步复制实现原理异步复制实现原理两种复制方式的对比存储系统中复制技术实现的层次复制的应用范例我司产品复制技术实现常见存储厂商的复制功能介绍同步复制实现原理——原理（一）•同步数据复制是指对业务数据进行实时复制，数据中心和备份中心之间保持数据互为镜像，保持完全一致。•同步数据复制的原理是每一个I/O写操作都需要等待远程复制完成后才释放。同步复制主机生产中心灾备中心同步复制实现原理——原理（二）•采用同步传输方式进行异地数据容灾的过程：①本地主机系统发出第一个I/O请求A；②主机会对本地磁盘系统发出I/O请求；③本地磁盘系统完成I/O操作，并通知本地主机“I/O完成”；④在往本地I/O的同时，本地系统（主机或磁盘系统）会向异地系统发出I/O请求A；⑤异地系统完成I/O操作，并通知本地系统“I/O完成”⑥本地主机系统得到“I/O完成”的确认，然后，发出第二个I/O请求B。同步复制实现原理——实现方式•不同的异地数据复制技术的实现方式不同，主要包括：–基于主机逻辑卷层的同步数据复制方式（软件复制方式）–基于磁盘系统I/O控制器的同步数据复制方式（硬件复制方式）同步复制实现原理——基于主机逻辑卷的复制方式•基于主机逻辑卷的同步数据复制方式以VERITASVolumeReplicator（VVR）为代表，VVR是集成于VERITASVolumeManager（逻辑卷管理）的远程数据复制软件，它可以运行于同步模式和异步模式。同步复制实现原理——基于主机逻辑卷的复制方式•在同步模式下，其实现原理如右图，当主机发起一个I/O请求A之后,必然通过逻辑卷层，逻辑卷管理层在向本地硬盘发出I/O请求的同时，将同时通过TCP/IP网络向异地系统发出I/O请求。•其实现过程如下：①本地主机系统发出第一个I/O请求A；②主机逻辑卷层会对本地磁盘系统发出I/O请求；③本地磁盘系统完成I/O操作，并通知本地逻辑卷“I/O完成”；④在往本地磁盘系统I/O的同时，本地主机系统逻辑卷会向异地系统发出I/O请求A；⑤异地系统完成I/O操作，并通知本地主机系统“I/O完成”⑥本地主机系统得到“I/O完成”的确认，然后，发出第二个I/O请求B。同步复制实现原理——基于磁盘系统的复制方式•基于磁盘系统的同步数据复制功能实现异地数据容灾，如SRDF和PPRC。这两个软件运行的平台是磁盘系统，部署这样的系统必须要求在两端采用相同种类的磁盘系统。同步复制实现原理——基于磁盘系统的复制方式•当主机发出一个I/O请求A之后，I/O进入磁盘控制器。该控制器在接到I/O请求后，一方面会写入本地磁盘，同时利用另一个控制器（或称通道），通过专用通道（如：ESCON）、FC光纤通道（IPoverFC）或者租用线路，将数据从本地磁盘系统同步的复制到异地磁盘系统。•其实现过程如下：①本地主机系统发出第一个I/O请求A；②主机对本地磁盘系统发出I/O请求；③在往本地磁盘系统I/O的同时，本地磁盘系统会向异地磁盘系统发出I/O请求A；④本地磁盘系统完成I/O操作；⑤异地系统完成I/O操作，并通知本地磁盘系统“I/O完成”⑥本地磁盘系统向主机确认“I/O完成”，然后，主机系统发出第二个I/O请求B。同步复制实现原理——同步复制的性能分析•一个I/O通过远程链路写到异地系统，涉及到3个技术参数：–带宽–距离–中间设备及协议转换的时延同步复制的性能分析——带宽•带宽–本地I/O的带宽是100MB/秒（SAN网络中），在I/O流量很大的情况下，如果与远程的I/O带宽相对“100MB/秒==800Mbit/秒”窄得多的话，如E1：2Mbit/秒；E3：45Mbit/秒，将会明显拖慢生产系统的I/O，从而影响系统性能。同步复制的性能分析——距离（一）•例如：一个异地容灾系统的距离是1000KM，其数据库写盘的数据块大小是10KB（一次I/O的数据量），那么•本地I/O时（100米距离内）：此数字远远超过光纤通道带宽本身，也就是说，光电在100米距离的线路上的延时对性能的影响可以忽略不计。－6－6－6－6同步复制的性能分析——距离（二）•异地I/O时（1000公里）：此数据表明，在1000公里距离上，允许的最大I/O量在不存在带宽限制时，已经远远低于本地I/O的能力。（注：上面分析还未考虑中间设备及协议转换的延时）。同步复制的性能分析——中间链路设备和协议转换的时延（一）•中间链路设备和协议转换的方式的不同，时延不同，对性能的影响也不同。•目前不同异地数据复制技术所依赖的介质和协议不同，后面图例为将介质、协议和大概时延进行的列表，只精确到数量级。•数据线路处理时延估计：同步复制的性能分析——中间链路设备和协议转换的时延（二）•数据传输距离时延同步复制的性能分析——中间链路设备和协议转换的时延（三）•线路系统考察（在1000公里和100公里距离上，采用租用线路和ATM，允许的最大I/O能力，假定带宽足够，数据块大小以10KB为例）：同步复制的性能分析——中间链路设备和协议转换的时延（四）同步复制的性能分析——中间链路设备和协议转换的时延（五）•等距离条件下的时间延迟（在10公里距离上，采用各种传输协议允许的最大I/O能力，数据块大小以10KB为例，假定带宽足够）：同步复制实现原理——同步复制的优势与缺点•优势–实时性强，灾难发生时远端数据与本地数据完全相同，可以达到数据的零丢失，保证高度的完整性和一致性。•缺点–性能上：会对主机工作效率带来影响。–传输距离上：同步复制对网络延迟有严格的要求，数据传输距离较短，数据中心和备份中心的距离一般只能是几十公里。–无法预防软错误、误删除、病毒等。同步复制实现原理——同步复制的应用场合•避免数据丢失是最优先的考虑，生产主机的工作负载能够承受同步拷贝带来的性能损失，运行中心和备份中心的距离不超过100公里，那就可以考虑采用同步数据复制方式。同步复制实现原理——同步复制与同步镜像的对比•同步镜像是指“写”操作会同时在原始磁盘和镜像磁盘上完成。它与同步复制不同的是，当两个磁盘都正常工作时（假设只存在两个磁盘的情况），同步镜像的数据可以从任一磁盘读取；如果一个磁盘失效，则数据还可以从另外的一个正常工作的磁盘读出；•同步复制只能从主磁盘读取，只有在主磁盘失效时才能从目的磁盘读出。目录复制基本概念同步复制实现原理异步复制实现原理两种复制方式的对比存储系统中复制技术实现的层次复制的应用范例我司产品复制技术实现常见存储厂商的复制功能介绍异步复制实现原理——原理•异步数据复制是将本地生产数据通过后台同步的方式复制到异地。•异步复制的原理是对本地主卷写完成后，不必等待远程二级卷的写完成，主机立即可处理下一个I/O。异步复制主机生产中心灾备中心异步复制实现原理——实现方式•通过异步传输模式进行异地数据复制的技术，包括：–基于主机逻辑卷的数据复制方式–基于磁盘系统I/O控制器的数据复制方式异步复制实现原理——基于主机逻辑卷的复制方式•以VERITASVVR为例，VERITASVVR（VolumeReplicator）通过基于Volume和Log的复制技术，保证在任何时刻本地系统发生自然灾难时，在异地的数据仍是可用的。异步复制实现原理——基于主机逻辑卷的复制方式•整个I/O和复制的过程如下：①本地主机系统发出第一个I/O请求A到逻辑卷；②逻辑卷对本地磁盘系统发出I/O请求；③在往本地磁盘系统I/O的同时，逻辑卷向本地磁盘系统上的VVRLog发出相同的写请求；④本地磁盘系统完成I/O操作；并通知逻辑卷“I/O完成”；⑤VVR完成针对这个I/O的远程操作，并通知逻辑卷；⑥逻辑卷向主机确认“I/O完成”。•服务器的另一个进程：VVR的进程，负责将Log队列中的I/O复制到异地服务器。这个过程和上面的I/O过程在时间上无关。如右图中的标记：“I”和“II”。①I:本地VVR进程从Log队列中取出最先到达的I/O，复制到异地服务器②II:异地服务器接收到本地服务器VVR发出的I/O请求，将相应数据写到异地磁盘系统，然后，通知本地系统VVR进程，要求下一个I/O。III异步复制实现原理——基于磁盘系统的复制方式（一）•基于磁盘系统的异地数据复制技术采用：–Bitmap技术–Timestamp技术•缺点：不能保证异地数据库的完整性•技术弱点：没有log异步复制实现原理——基于磁盘系统的复制方式（二）•Bitmap技术–对于每个数据块（如32KB）用一个Bit来对应，某一个Bit被置为“1”时，表示其对应的数据块已被修改过，正在等待处理（这里是等待被复制）。–当有一块以上的数据块未被及时复制时，系统并无法确认哪一块数据块应该先复制到异地，所以，系统将任选一块，即不按到达的时间先后进行复制。异步复制实现原理——基于磁盘系统的复制方式（三）•Timestamp技术–对每个未及时传送的数据块盖上一个时间戳。–当一个未被及时复制的数据块被第2次修改，并盖上新的时间戳时，数据复制的顺序就被破坏了。异步复制实现原理——异步复制的优势与缺点•优势–对带宽和距离的要求低，只要求在某个时间段内能将数据全部复制到异地即可；–不会明显影响应用系统的性能；–灵活性较大，可以根据业务的需求采用高性能的光纤通道SAN（存储区域网）连接，也可以采用低成本的IP网络进行数据传输。•缺点–在本地生产数据发生灾难时，异地系统上的数据可能会短暂损失（如果广域网速率较低，交易未完整发送的话），但不影响一致性（类似本地数据库主机的异常关机）。异步复制实现原理——异步复制的应用场合•系统性能是最优先的考虑对象，能够接受备份中心数据更新的较小延迟，就可以考虑采用异步数据复制方式。目录复制基本概念同步复制实现原理异步复制实现原理两种复制方式的对比存储系统中复制技术实现的层次复制的应用范例我司产品复制技术实现常见存储厂商的复制功能介绍两种复制方式的对比复制方式带宽要求能否保证数据同步是否存在数据丢失风险是否影响主机性能同步复制高是否是异步复制低否是否目录复制基本概念同步复制实现原理异步复制实现原理两种复制方式的对比存储系统中复制技术实现的层次复制的应用范例我司产品复制技术实现常见存储厂商的复制功能介绍存储系统中复制技术实现的层