数据迁移方案

数据迁移方案N8000到AS13000广东XX信息技术有限2015年7月1.系统拓扑图AS13000成果存储备成果数据存储系统拓扑图NAS网关成果存储主万兆交换机1千兆以太网光纤线路万兆以太网光纤线路AS13000中间服务器核心交换机DPS万兆交换机2文件服务已有存储华赛N8000千兆以太网线路2.需求分析新增设备：2台AS13000-NAS、1台NAS网关和1套DPS备份系统通过光纤跳线连接万兆交换机，中间服务器和华赛N8000通过6类网线连接万兆交换机，最低达到千兆交换的物理基础架构。其中1台AS13000-NAS作为成果数据存储，通过NAS网关对外提供存储服务，另一台通过DPS备份软件实现数据备份。华赛N8000存储数据有40TB，包括各种大小文件、压缩包，需安全迁移到AS13000，实现数据的备份和共享。数据迁移是敏感性动作，必须保证迁移数据的完整性、可用性，一致性。华赛N8000已发生硬件故障，须尽快完成数据迁移工作。3.数据迁移方案本次数据迁移的目标是在最少存储中断服务时间内完成数据在两个存储设备之间快速有序迁移，并保证数据的完整性、可用性，一致性。我们在本方案中建议以下2种方式实现存储设备之间的数据迁移：文件复制通过全备份、增量备份实现数据迁移实现方式简单，迁移成本较低需要较长的存储中断服务时间备份软件迁移通过建立选择备份的模式运行实现数据自动复制，实现数据迁移支持异构平台需要第三方备份工具支持，成本较高3.1.文件复制该方法是通过中间服务器的指令在2个存储设备之间复制数据，数据迁移实现方式简单，不需要对源数据进行设置变更，不影响源数据的正常运行；但该方式迁移数据需要较长的迁移周期，同时需要安排一定的存储中断服务时间，以保证数据的完整迁移。该方法不适用于增量数据迁移，增量数据需另配存储或在存储中临时划LUN替用，迁移完原数据后再迁移增量数据。3.2.备份软件迁移该方法通过安装的备份软件实现2个存储设备之间数据备份，向导指引你进行文件的备份与恢复，支持任务排程，进行备份时可以根据文件类型有选择的进行备份，备份文件可以压缩为ZIP文件进行存放，以节省空间，并且可以通过压缩密码保护您的文件。整个迁移过程都是可控的，原有存储环境保留，避免了迁移过程中的数据损失，保证了系统的平稳过渡。该方法适用于增量数据迁移，满足存储系统不间断运行。需另行采购备份软件实施，提高实施成本。3.3.方案对比通过以上2种方案综合比对，建议采购文件复制方式实施数据迁移。文件复制备份软件迁移难易程度较为容易需要专业软件存储中断服务时间较长长实施额外费用无需要购买软件授权需要调整现有数据设置无无迁移周期较长长平台要求同构平台无要求4.数据迁移实施4.1.AS13000部署新购存储预计7月10日到货，硬件设备上架安装1天，存储系统规划调试3天，预计7月17日可开始实施数据迁移工作。4.2.数据迁移实施数据迁移系统搭建数据迁移系统由华赛N8000、中间服务器、AS13000、网络设备组成。数据迁移链路由华赛N8000、中间服务器、AS13000连接到万兆交换机，最低1000Mbps的以太网链路互联。如不能连接到万兆交换机，需要专门的千兆交换机保证数据传输，减少影响业务网络运行。迁移速度网络最大传输速度为1000Mbps，最大的数据传输速度为100Mbps，按大小文件传输平均速率大概为60Mbps。一天数据传输量＝文件传输速率*3600*24＝60*3600*24=5184000=5TB实施时间数据迁移包括4个阶段：测试、预演、正式迁移、检验，主要耗费时间为正式迁移时间，目前N8000需传输的数据量为40TB，传输时间＝40TB/5TB＝8天整个迁移完成时间预计10天左右。4.3.数据校验为了保证数据迁移后的一致性，需进行迁移前后数据的验证，可采取以下3个方法核验。业务验证方式业务验证方式是数据迁移验证的核心，由于迁移流程中从小到大、从易到难会经历测试、预演和正式迁移三个实施阶段，而这三个阶段分别需要业务的验证。由于成果数据的数量太多，业务验证时间和参与验证的数据各有不同，业务验证不可能面面俱到，不可能涵盖每一笔数据，因此需要根据每个阶段的测试目的，根据数据的重要性，在不同的实施阶段，选择不同的数据和数量，制定每个阶段可行的业务验证。在测试阶段，业务验证主要是验证数据迁移后应用能否正常使用，因此该阶段验证侧重的是业务的可用性和正确性。预演阶段是正式迁移的预先演习。由于内部测试已经测试了较为完整的迁移流程，预演的目的主要是验证实际数据迁移的可靠性，另外预演还能起到对数据迁移链路一个压力测试作用。在正式迁移阶段，所有的验证数据均为真实的操作，之前两个阶段的验证只在数据迁移有效性。迁移完成后的数据，此时的验证要尽可能的详细，必须包含所有核心业务，能测的都需要尽可能得测到。外围系统验证如果存在外围系统，并且这些外围系统有些是需要与核心系统的应用和数据打交道，有些是不需要通过业务交易直接在数据层面或者其他层面与核心系统进行交互，基于此，可以对所有外围系统进行分析，将新旧数据迁移后是否正常的系统进行筛选，列出各外围系统与核心系统的关联性，并提供可行的外围系统验证方法，从而提高数据迁移验证的准确性，减少业务交易验证的工作量。技术验证方案技术验证的方法可以考虑通过在特定的时间在原有的数据中插入特定的内容，当数据迁移完成后，在新的数据中查找插入的特定内容是否存在，如果不存在，迁移肯定有问题，如果存在，则在一定程度上可以证明数据的一致性。为了进一步验证迁移前后数据的一致性，还可以考虑将数据中与应用相关的、重要的数据求和进行统计，在数据迁移完成后，在新的存储中同样执行相同的统计，能得到两个数据，将前后两次所得到的数据进行对比，如果两个数都分别完全一致，则从另一个角度也能说明迁移前后新旧数据库数据的一致性。完整性和可用性验证相对比较简单，只要迁移后的新数据能正常打开，并且架构在数据之上的应用能正常启动，不会报由于数据的问题导致应用不可用，那就可以肯定迁移后的新数据是完整的、可用的。数据迁移的验证是一个非常重要的内容，通过验证可以确定新旧数据库内容是否一致，可以确定新的数据的完整性和有效性。4.4.风险回退本次数据迁移不会改变原有存储数据，只是复制方式，为零风险迁移方案，可不实施风险回退。5.实施计划7月6日7月13日－7月16日7月17日7月27日7月28日方案编写AS1300安装迁移环境准备环境测试数据迁移数据检验