华为业务连续性容灾解决方案两地三中心解决方案技术白皮书

('业务连续性容灾解决方案V100R003C00两地三中心解决方案技术白皮书文档版本01发布日期2015-08-15华为技术有限公司版权所有©华为技术有限公司2015。保留一切权利。非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。商标声明和其他华为商标均为华为技术有限公司的商标。本文档提及的其他所有商标或注册商标，由各自的所有人拥有。注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。华为技术有限公司地址：深圳市龙岗区坂田华为总部办公楼邮编：518129网址：http://enterprise.huawei.com文档版本01(2015-07-30)华为专有和保密信息版权所有©华为技术有限公司第2共39目录1概述...............................................................................................71.1数据中心业务连续性的挑战........................................................................................................................................71.2方案概述........................................................................................................................................................................71.3方案亮点........................................................................................................................................................................72两地三中心方案架构.............................................................................92.1级联组网架构................................................................................................................................................................92.1.1同步+异步级联方案.................................................................................................................................................102.1.2异步+异步级联方案.................................................................................................................................................102.2并联组网架构..............................................................................................................................................................102.2.1同步+异步并联方案.................................................................................................................................................102.2.2异步+异步并联方案.................................................................................................................................................112.3双活组网架构..............................................................................................................................................................112.3.1VIS双活+异步方案..................................................................................................................................................112.3.2HyperMetro+异步级联方案.....................................................................................................................................122.4关键组件技术实施要求..............................................................................................................................................123两地三中心方案工作原理......................................................................143.1同步+异步级联工作原理............................................................................................................................................143.1.1初始同步处理...........................................................................................................................................................143.1.2IO处理流程..............................................................................................................................................................153.1.3灾难切换处理...........................................................................................................................................................163.1.4灾难恢复处理...........................................................................................................................................................163.1.5链路和灾备端故障处理...........................................................................................................................................163.2同步+异步并联工作原理............................................................................................................................................163.2.1初始同步处理...........................................................................................................................................................163.2.2IO处理流程..............................................................................................................................................................173.2.3灾难切换处理...........................................................................................................................................................173.2.4灾难恢复处理...........................................................................................................................................................183.2.5链路和灾备端故障...................................................................................................................................................183.3异步+异步级联工作原理............................................................................................................................................183.3.1初始同步处理...........................................................................................................................................................183.3.2正常状态处理...........................................................................................................................................................19文档版本()第共3.3.3灾难切换处理...........................................................................................................................................................203.3.4灾难恢复处理...........................................................................................................................................................213.3.5链路和灾备端故障...................................................................................................................................................213.4异步+异步并联工作原理............................................................................................................................................213.4.1初始同步处理...........................................................................................................................................................213.4.2正常状态处理...........................................................................................................................................................223.4.3灾难切换处理...........................................................................................................................................................233.4.4灾难恢复处理...........................................................................................................................................................243.4.5链路和灾备端故障...................................................................................................................................................243.5VIS双活+异步工作原理.............................................................................................................................................243.5.1初始同步处理...........................................................................................................................................................243.5.2正常状态处理...........................................................................................................................................................253.5.3灾难切换处理...........................................................................................................................................................253.5.4灾难恢复处理...........................................................................................................................................................263.5.5链路和灾备端故障...................................................................................................................................................263.6HyperMetro+异步级联工作原理................................................................................................................................263.6.1初始同步处理...........................................................................................................................................................273.6.2正常状态处理...........................................................................................................................................................273.6.3灾难切换处理...........................................................................................................................................................283.6.4灾难恢复处理...........................................................................................................................................................283.6.5链路和灾备端故障...................................................................................................................................................293.7两地三中心容灾关键技术原理..................................................................................................................................293.8容灾管理......................................................................................................................................................................324两地三中心容灾业务恢复流程.................................................................354.1容灾测试流程..............................................................................................................................................................354.2计划性迁移流程..........................................................................................................................................................364.3故障切换流程..............................................................................................................................................................375总结..............................................................................................386缩略语...........................................................................................39文档版本()第共插图目录图2-1级联组网的两地三中心容灾架构..............................................................................................................9图2-2并联组网的两地三中心容灾架构............................................................................................................10图2-3并联组网（同步+异步）的两地三中心容灾架构..................................................................................11图2-4HyperMetro+异步的两地三中心容灾架构..............................................................................................12图3-1级联组网（同步+异步）IO处理流程.....................................................................................................15图3-2并联组网（同步+异步）IO处理流程.....................................................................................................17图3-3远程复制状态转移图................................................................................................................................30图3-4Cache多时间戳复制原理..........................................................................................................................31图3-5容灾管理DashBoard..................................................................................................................................32图3-6容灾管理配置向导....................................................................................................................................33图3-7容灾管理组网拓扑展示............................................................................................................................34图3-8一键式灾难恢复介绍................................................................................................................................34图4-1一键式测试操作........................................................................................................................................35图4-2一键式计划性迁移....................................................................................................................................36图4-3一键式故障切换........................................................................................................................................37文档版本()第共表格目录表3-1远程复制状态描述....................................................................................................................................29文档版本()第共业务连续性容灾解决方案两地三中心解决方案技术白皮书1概述1.1数据中心业务连续性的挑战随着信息化技术的飞速发展，信息系统在各种行业的关键业务中扮演着越来越重要的角色。在通讯、金融、医疗、电子商务、物流、政府等领域，信息系统业务中断会导致巨大经济损失、影响品牌形象并可能导致重要数据丢失。因此，保证业务连续性是信息系统建设的关键。近年来，大范围自然灾害时常发生，为保障业务连续性，同城灾备中心结合异地灾备中心的“两地三中心”容灾解决方案越来越受到业界重视和认可。1.2方案概述两地三中心容灾解决方案中的“两地三中心”一般指的是一个生产中心、一个同城灾难备份中心、一个异地灾难备份中心。生产中心的数据同步地复制到同城灾难备份中心，同时，生产中心的数据异步地复制到异地灾难备份中心。同城灾备中心通常具备与生产中心等同业务处理能力，应用可在不丢失数据的情况下切换到同城灾备中心运行，保持业务连续运行。在出现小概率的大范围的灾难时，如自然灾害地震，造成同城灾难备份中心与生产中心同时不可用，应用可以切换到异地灾难备份中心。通过实施经过日常灾难演练的步骤，应用可在业务容许的时间内，在异地的灾难备份中心恢复，保证业务连续运行。但异地恢复通常会丢失少量的数据。相比仅建立同城灾难备份中心或异地灾难备份中心，“两地三中心”的方式结合两者的优点，能够适应更大范围的灾难场景，对于小范围的区域性灾难和较大范围的自然灾害，都能够通过灾难备份系统较快地响应，尽可能保全业务数据不丢失，实现更优的RPO和RTO。所以，两地三中心容灾解决方案得到了广泛的应用。1.3方案亮点华为两地三中心解决方案的亮点和优势如下：文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第7共39业务连续性容灾解决方案两地三中心解决方案技术白皮书高中低端阵列复制技术互通华为全系列存储产品都采用统一的存储操作系统平台，高、中、低端阵列之间都可建立远程复制关系。客户在产品选型时，可以根据业务需要选择匹配的异地灾备中心磁盘阵列，显著提升容灾建设投入产出比。秒级异步复制RPO，分钟级RTO基于Cache多时间戳的异步远程复制，最小支持3s的复制周期。华为容灾管理软件OceanStorReplicationDirector提供的一键式容灾测试和容灾切换功能大大简化灾备恢复操作，使灾备端数据库的恢复时间达到分钟级，缩短恢复时间。容灾业务和拓扑可视化管理华为容灾管理软件OceanStorReplicationDirector支持可视化展示两地三中心的物理拓扑和业务逻辑拓扑。并且支持一键式容灾测试和切换，支持客户定制脚本一键恢复备用业务系统，简化灾备系统的管理和维护。文档版本01(2015-07-30)华为专有和保密信息版权所有©华为技术有限公司第8共39业务连续性容灾解决方案两地三中心解决方案技术白皮书2两地三中心方案架构两地三中心的容灾方式是当前容灾建设的一个重要趋势，在电信、金融、制造等领域得到广泛的使用。通过建设近距离的数据中心（同城数据中心）获得接近于零数据丢失的数据保护，通过建设较远距离的数据中心（异地数据中心）获得远距离的数据保护，避免区域性的灾难导致业务无法恢复。华为两地三中心解决方案支持级联组网（同步+异步，异步+异步）方案（即“A->B，B->C”组网）、并联组网（同步+异步，异步+异步）方案（即“A->B，A->C”组网）和双活组网（双活+异步）方案（即“A<->B，B->C”组网）。2.1级联组网架构图2-1级联组网的两地三中心容灾架构文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第9共39数据复制网络华为存储OceanStor华为存储OceanStor灾备管理网络应用服务器生产中心A同城灾备中心B异地灾备中心C异步复制华为存储OceanStorWAN同步/异步复制容灾管理服务器容灾管理服务器灾备服务器（可选）业务网络灾备服务器（可选）FC交换机FC交换机FC交换机IP管理网络IP业务网络FC网络数据流向DWDMDWDMServerAgentWANWAN灾备管理网络灾备管理网络业务连续性容灾解决方案两地三中心解决方案技术白皮书2.1.1同步+异步级联方案如图2-1所示，在生产中心部署磁盘阵列A；在同城灾备中心部署磁盘阵列B，两个数据中心之间通过FC链路实现互联，生产中心的磁盘阵列A与同城灾备中心磁盘阵列B建立同步远程复制，将磁盘阵列A的数据实时同步到磁盘阵列B；在异地灾备中心，部署磁盘阵列C，与同城灾备中心的磁盘阵列B建立异步远程复制，将磁盘阵列B的数据定时地同步到阵列C。在同城灾备中心和异地灾备中心部署容灾管理软件，实现对3个数据中心的统一容灾管理。容灾管理软件可以展示两地三中心容灾方案物理拓扑和业务逻辑拓扑，并且支持在同城灾备中心以及异地灾备中心一键式容灾测试以及一键式容灾恢复。2.1.2异步+异步级联方案如图2-1所示，在生产中心部署磁盘阵列A；在同城灾备中心部署磁盘阵列B，两个数据中心之间根据数据变化量对带宽的需求，可以通过FC链路或者IP链路实现互联，生产中心的磁盘阵列A与同城灾备中心磁盘阵列B建立异步远程复制，将磁盘阵列A的数据定时同步到磁盘阵列B；在异地灾备中心，部署磁盘阵列C，与同城灾备中心的磁盘阵列B建立异步远程复制，将阵列B的数据定时的地同步到阵列C。在同城灾备中心和异地灾备中心部署容灾管理软件，实现对3个数据中心的统一容灾管理。容灾管理软件可以展示两地三中心容灾方案物理拓扑和业务逻辑拓扑，并且支持在同城灾备中心以及异地灾备中心一键式容灾测试以及一键式容灾恢复。2.2并联组网架构图2-1并联组网的两地三中心容灾架构文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第10共39数据复制网络华为存储OceanStor华为存储OceanStor灾备管理网络应用服务器生产中心A同城灾备中心B异地灾备中心C异步复制华为存储OceanStorWAN同步/异步复制容灾管理服务器容灾管理服务器灾备服务器（可选）业务网络灾备服务器（可选）FC交换机FC交换机IP管理网络IP业务网络FC网络数据流向DWDMDWDMServerAgentWANWAN灾备管理网络灾备管理网络FC交换机业务连续性容灾解决方案两地三中心解决方案技术白皮书2.2.1同步+异步并联方案如图2-2，在生产中心部署磁盘阵列A；在同城灾备中心部署磁盘阵列B，两个数据中心之间通过FC链路实现互联，生产中心的磁盘阵列A与同城灾备中心磁盘阵列B建立同步远程复制，将阵列A的数据实时同步到阵列B；在异地灾备中心，部署磁盘阵列C，通过生产中心与异地灾备中心的IP链路，实现生产中心的磁盘阵列A与异地灾备中心磁盘阵列C建立异步远程复制，异步地将数据同步到磁盘阵列C。在同城灾备中心和异地灾备中心部署容灾管理软件，实现对3个数据中心的统一容灾管理。容灾管理软件可以展示两地三中心容灾方案物理拓扑和业务逻辑拓扑，并且支持在同城灾备中心以及异地灾备中心一键式容灾测试以及一键式容灾恢复。2.2.2异步+异步并联方案如图2-2，在生产中心部署磁盘阵列A；在同城灾备中心部署磁盘阵列B，两个数据中心之间根据数据变化量对带宽的需求，可以通过FC链路或者IP链路实现互联，生产中心的磁盘阵列A与同城灾备中心建立异步远程复制，将磁盘阵列A的数据定时同步到磁盘阵列B；在异地灾备中心部署磁盘阵列C，与生产中心的磁盘阵列建立异步远程复制，将磁盘阵列A的数据定时地同步到阵列C。在同城灾备中心和异地灾备中心部署容灾管理软件，实现对3个数据中心的统一容灾管理。容灾管理软件可以可视化的展示两地三中心容灾方案物理拓扑和业务逻辑拓扑，并且支持在同城灾备中心以及异地灾备中心一键式容灾测试以及一键式容灾恢复。2.3双活组网架构2.3.1VIS双活+异步方案图2-1并联组网（同步+异步）的两地三中心容灾架构文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第11共39数据复制网络华为存储OceanStor华为存储OceanStor灾备管理网络应用服务器生产中心A同城灾备中心B异地灾备中心C异步复制华为存储OceanStorWANVIS双活容灾管理服务器容灾管理服务器灾备服务器（可选）业务网络灾备服务器（可选）FC交换机FC交换机FC交换机IP管理网络IP业务网络FC网络数据流向DWDMDWDMServerAgentWANWAN灾备管理网络灾备管理网络业务连续性容灾解决方案两地三中心解决方案技术白皮书如2-3，在生产中心A和生产中心B分别部署磁盘阵列和VIS6600T存储虚拟化网关，数据中心间通过裸光纤或者波分设备实现FC网络互联。通过VIS的虚拟化镜像技术实现数据双活镜像；上层业务访问时，数据被实时写入生产中心A和生产中心B的磁盘阵列中。在异地灾备中心，部署磁盘阵列C，与生产中心A或B任一磁盘阵列建立异步远程复制，将双活镜像的磁盘阵列数据定时地同步到磁盘阵列C。在异地灾备中心部署容灾管理软件，实现对双活+异步复制统一容灾管理。容灾管理软件可以展示两地三中心容灾方案物理拓扑和业务逻辑拓扑，并且支持在异地灾备中心一键式容灾测试以及一键式容灾恢复。2.3.2HyperMetro+异步级联方案图2-1HyperMetro+异步的两地三中心容灾架构如2-4，在生产中心A和生产中心B位于同城，可通过裸光纤或波分设备实现FC网络互联，也支持通过10GE网络互联。生产中心A和生产中心B同时对外提供业务，HyperMetro不仅实现数据实时双向镜像，而且保证任何数据中心阵列故障，对上层业务透明切换，业务不中断。在异地灾备中心，部署磁盘阵列C，与生产中心A或B任意磁盘阵列建立异步远程复制，将双活镜像的磁盘阵列数据周期性的同步到磁盘阵列C。在生产中心B和异地灾备中心部署容灾管理软件，实现对双活+异步复制统一容灾管理。容灾管理软件可以展示两地三中心容灾方案物理拓扑和业务逻辑拓扑，并且支持在异地灾备中心一键式容灾测试以及一键式容灾恢复。2.4关键组件技术实施要求城域网要求：（同步远程复制，双活）容灾网络距离：<100km，双活建议<100km，裸光纤连接。传输延迟：<1ms（单向）。网络真实带宽：>业务的峰值写IO带宽。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第12共39数据复制网络华为存储OceanStor华为存储OceanStor灾备管理网络应用服务器生产中心A同城灾备中心B异地灾备中心C异步复制华为存储OceanStorWANHyperMetro双活容灾管理服务器容灾管理服务器灾备服务器（可选）业务网络灾备服务器（可选）FC交换机FC交换机FC交换机IP管理网络IP业务网络FC网络数据流向DWDMDWDMServerAgentWANWAN灾备管理网络灾备管理网络业务连续性容灾解决方案两地三中心解决方案技术白皮书广域网要求：（异步远程复制）容灾网络距离：无限制。传输延迟：<50ms（单向）。网络真实带宽：>业务的平均写IO带宽。管理工作站：管理工作站需要三中心间通信。网络距离要求：无限制。通信网络带宽要求：10Mb/s。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第13共39业务连续性容灾解决方案两地三中心解决方案技术白皮书3两地三中心方案工作原理3.1同步+异步级联工作原理3.1.1初始同步处理同步远程复制关系建立时，系统自动启动初始同步，将主LUN的数据全部复制到从LUN，复制期间，主LUN如果接收到生产主机新写入的数据，也会将其复制到从LUN。初始同步完成后，主LUN与从LUN的数据完全一致，同步远程复制进入正常状态。远程复制关系建立时，系统自动启动初始同步，将主LUN的数据全部复制到从LUN。初始同步完成后，异步远程复制进入正常状态。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第14共39业务连续性容灾解决方案两地三中心解决方案技术白皮书3.1.2IO处理流程图3-1级联组网（同步+异步）IO处理流程级联组网（同步+异步）方案IO处理流程如上图所示：1.主机下发IO到磁盘阵列A的LUN1。2.IO写入A站点的LUN1，并通过同步复制同时写入B站点的LUN12（LUN12既是同步远程复制的从LUN，又是异步远程复制的主LUN）。3.当异步远程复制同步周期到来，磁盘阵列B生成LUN12在此时间点的数据（如t1时间点数据）。4.磁盘阵列C生成同步开始前LUN2的该时间点数据（如t2时间点数据）。如果异步远程复制同步失败，当需要使用LUN2运行业务时，系统自动回滚到该时间点数据，以保证磁盘阵列C中数据的可用性。5.后台启动由LUN12在t1时间点的数据到LUN2的周期性同步。如果在异步远程复制启动同步时，同步远程复制的从LUN（LUN12）状态不允许启动同步，则周期性同步不会被启动，直到从LUN状态允许启动同步时才生成多时间点数据，并启动同步。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第15共39业务连续性容灾解决方案两地三中心解决方案技术白皮书3.1.3灾难切换处理1）生产中心故障当生产中心发生灾难后，不能再提供业务。同城灾备中心的从LUN保存着与主LUN完全同步的数据，保障数据不丢失。如果同城灾备中心部署有备用主机，则备用主机可以访问从LUN，接管业务。从LUN开始被主机访问后，每次收到新写入的数据，远程复制会自动记录其地址，以便用于后续增量恢复，缩短业务回切的时间。2）生产中心和同城灾备中心同时故障当生产中心和同城灾备中心在重大灾难导致数据都不可用时，异地备中心的从LUN保存着与主LUN相隔一定时间周期（1-2个复制周期）之前的数据，保障数据绝大部分不丢失。如果异地同城灾备中心部署有备用主机，则备用主机可以访问从LUN，接管业务。异地灾备中心从LUN开始被主机访问后，每次收到新写入的数据，远程复制会自动记录其地址，以便用于后续增量恢复，缩短业务回切的时间。3.1.4灾难恢复处理1）数据未被破坏时当生产中心灾难恢复后，如果磁盘阵列A和B没有受到破坏，主LUN能够恢复其原有数据，则远程复制可以将主LUN故障期间，从LUN12或者LUN2新写入的数据增量复制到主LUN。复制完成后，主、从LUN保持复制关系。此时，可以将业务切换回生产中心，重新由生产主机访问磁盘阵列A的主LUN，远程复制重新保持由主LUN向从LUN实时同步数据。2）数据完全被破坏时当磁盘阵列A或B被破坏，数据不可修复时，需要重建磁盘阵列A或者磁盘阵列B，将从端数据反向复制到主端B和主端A上，调整主从关系，在生产中心恢复业务。3.1.5链路和灾备端故障处理当生产中心与同城灾备中心的复制链路故障或者任意灾备中心设备故障，则远程复制自动断开复制，不影响生产系统的正常运行。生产中心主LUN将记录故障期间的数据差异变化，待故障恢复后，自动将增量数据同步到从LUN。3.2同步+异步并联工作原理3.2.1初始同步处理同步远程复制关系建立时，系统自动启动初始同步，将主LUN的数据全部复制到从LUN，复制期间，主LUN如果接收到新的生产主机的写入的数据，也会将其复制到从LUN。初始同步完成后，主LUN与从LUN的数据完全一致，同步远程复制进入正常状态。异步远程复制关系建立时，系统自动启动初始同步，将主LUN的数据全部复制到从LUN。初始同步完成后，异步远程复制进入正常状态。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第16共39业务连续性容灾解决方案两地三中心解决方案技术白皮书3.2.2IO处理流程图3-1并联组网（同步+异步）IO处理流程具体的处理流程如下：1.主机下发IO到磁盘阵列A的LUN1。2.A站点主机写IO双写到LUN1和B站点LUN12（LUN1既是同步远程复制的主LUN，又是异步远程复制的主LUN）。3.当异步远程复制同步周期到来，磁盘阵列A生成LUN1在此时间点的数据（如t1时间点数据）。4.磁盘阵列C生成LUN2的该时间点数据（如t2时间点数据）。如果异步远程复制同步失败，当需要使用LUN2运行业务时，系统自动回滚到该时间点数据，以保证磁盘阵列C中数据的可用性。5.后台启动由LUN1在t1时间点的数据到LUN2的周期性同步。3.2.3灾难切换处理1）生产中心故障文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第17共39业务连续性容灾解决方案两地三中心解决方案技术白皮书当生产中心发生灾难后，不能再提供业务。同城灾备中心的从LUN保存着与主LUN完全同步的数据，保障数据不丢失。如果同城灾备中心部署有备用主机，则备用主机可以访问从LUN，接管业务。从LUN开始被主机访问后，每次收到新写入的数据，远程复制会自动记录其地址，以便用于后续增量恢复，缩短业务回切的时间。2）生产中心和同城灾备中心同时故障当生产中心和同城灾备中心在遭遇重大灾难导致数据均不可用时，异地灾备中心的从LUN保存着与主LUN间隔一定时间周期（复制周期）之前的数据，保障数据绝大部分不丢失。如果异地同城灾备中心部署有备用主机，则备用主机可以访问从LUN，接管业务。异地灾备中心从LUN开始被主机访问后，每次收到新写入的数据，远程复制会自动记录其地址，以便用于后续增量恢复，缩短业务回切的时间。3.2.4灾难恢复处理1)数据未被破坏时当生产中心灾难恢复后，如果磁盘阵列A和B没有受到破坏，主LUN能够恢复其原有数据，则远程复制可以将主LUN故障期间，从LUN1’新写入的数据增量复制到主LUN。复制完成后，主、从LUN保持复制关系。此时，可以将业务切换回生产中心，重新由生产主机访问磁盘阵列A的主LUN，远程复制重新保持由主LUN向从LUN实时同步数据。2)数据完全被破坏时当磁盘阵列A或B被破坏，数据不可修复时，需要重建磁盘阵列A或者磁盘阵列B，将从端数据反向复制到主端磁盘阵列A和磁盘阵列B上，调整主从关系，在生产中心恢复业务。3.2.5链路和灾备端故障当生产中心与灾备中心的复制链路故障或者灾备中心存储设备故障，则远程复制自动断开复制，不影响生产系统的正常运行。生产中心主LUN将记录故障期间的数据差异变化，待故障恢复后，自动将增量数据同步到从LUN。3.3异步+异步级联工作原理3.3.1初始同步处理生产中心与同城灾备中心异步复制主从LUN之间和同城灾备中心与异地灾备中心异步复制主从LUN之间都需要进行初始同步，初始同步可以在线进行。复制带宽足够的情况下可以配置完就启动初始同步，带宽不足情况下，可以有几种初始同步方式：1.临时增加复制带宽完成初始同步。2.将设备搬迁到一起来完成初始同步。3.通过移动介质存储中转进行初始同步。异步复制初始同步系统自动创建快照，将主LUN数据全部复制到从LUN，复制期间新增数据不会复制到从LUN中。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第18共39业务连续性容灾解决方案两地三中心解决方案技术白皮书3.3.2正常状态处理具体处理流程如下：1.主机下发IO到存储系统A的LUN1。LUN2和LUN3分别是LUN1不同时间点的副本，LUN3的数据副本比LUN2的数据副本时间要早。LUN2既是存储系统A与存储系统B异步远程复制的从LUN，又是存储系统B与存储系统C异步远程复制的主LUN），B站点、C站点LUN对于主机默认均为只读。2.当A-B异步远程复制同步周期到来，存储系统A生成LUN1在此时间点的数据（如t1时间点数据）。3.存储系统B生成同步开始前LUN2的多时间点数据（如t2时间点数据）。如果异步远程复制同步失败，当需要使用LUN2运行业务时，系统自动回滚多时间点数据，以保证存储系统B中数据的可用性。当B-C异步远程复制同步周期到老，存储系统B生成LUN2在此时间点的数据（如t2时间点数据）4.后台启动由LUN1在t1时间点的数据到LUN2的周期性同步。5.存储系统C生成同步开始前LUN3的多时间点数据（如台t3时间点数据）。如果异步复制失败，当需要使用LUN3运行业务时，系统自动回滚多时间点数据。6.后台启动由LUN2在t2时间点的数据到LUN3的周期性同步。异步复制处理过程如下：文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第19共39业务连续性容灾解决方案两地三中心解决方案技术白皮书1.主LUN1的写IO处理2.在周期N，将新写入主LUN的数据写入Cache中。3.在下一个周期N+1，将周期N缓存的数据复制到从LUN2，同时将周期N+1新收到的写数据继续写入Cache中。数据复制完成后，进入下一周期。4.按照步骤2)重复进行。5.从LUN2的写IO处理6.周期N开始时，对从LUN进行快照activating，即对周期N-1的数据在Cache和存储介质中进行快照activating。7.在周期N中，接收由主LUN同步而来的数据，写入从LUN的Cache。8.该周期复制完成后，disable从LUN的快照。9.从LUN3的写IO处理10.周期N-1开始时，对从LUN进行activating，即对周期N-2的数据在Cache和存储介质中进行快照activating11.在周期N-1中，接收由主LUN同步而来的数据，写入从LUN的Cache。12.该周期复制完成后，Disable从LUN的快照。如果主LUN的写IO带宽临时性增大，或者阵列间链路带宽临时减小使得复制周期变长，导致周期内写入数据过多，超过了Cache所能缓存的写数据量，则远程复制会采用日志对超出部分进行记录，不会中断周期性同步。远程复制会严格保证从LUN的数据一致性，即写IO的依赖关系。在主LUN的IO处理中，在每次周期间切换时，远程复制会保证将有依赖关系的两个写IO纳入同一个周期，或者按照其顺序分别纳入先、后周期，不会出现先写入的IO纳入后一周期，而后写入的IO纳入前一周期的情况。在从LUN的IO处理中，当主LUN故障后需要访问从LUN时，远程复制会检查从LUN是否完成当前周期的复制，如果没有完成，则使用快照对从LUN进行回滚，使其数据保证为周期切换点时的状态，保证其数据一致性。通过Cache中的异步复制，最高可以实现1~6s的秒级RPO的数据灾备要求。3.3.3灾难切换处理1）生产中心故障当生产中心发生灾难后，不能再提供业务。同城灾备中心的从LUN保存着与主LUN较近时间点的数据，保障尽量少的数据丢失。如果同城灾备中心部署有备用主机，则备用主机可以访问从LUN，接管业务，实现最短的业务恢复。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第20共39业务连续性容灾解决方案两地三中心解决方案技术白皮书从LUN开始被主机访问后，每次收到新写入的数据，远程复制会自动记录其地址，以便用于后续增量恢复，缩短业务回切的时间。2）生产中心和同城灾备中心都故障当生产中心和同城中心在重大灾难或者都故障后，异地备中心的从LUN保存着与主LUN间隔一定时间周期（复制周期）之前的数据，保障数据绝大部分不丢失。如果异地同城灾备中心部署有备用主机，则备用主机可以访问从LUN，接管业务。异地灾备中心从LUN开始被主机访问后，每次收到新写入的数据，远程复制会自动记录其地址，以便用于后续增量恢复，缩短业务回切的时间。3.3.4灾难恢复处理数据未被破坏时当生产中心灾难恢复后，如果存储系统A和B没有受到破坏，主LUN能够恢复其原有数据，则远程复制可以将主LUN故障期间，从LUN1’新写入的数据增量复制到主LUN。复制完成后，主、从LUN保持复制关系。此时，可以将业务切换回生产中心，重新由生产主机访问存储阵列A的主LUN，远程复制重新保持由主LUN向从LUN实时同步数据。数据完全被破坏时当存储系统A或B被破坏，数据不可修复时，需要重建存储系统A或者存储系统B，将从端数据反向复制到主端存储系统A和存储系统B上，调整主从关系，在生产中心恢复业务。3.3.5链路和灾备端故障当生产中心与灾备中心的复制链路故障或者灾备中心设备故障，则远程复制自动断开复制，不影响生产系统的正常运行。生产中心主LUN将记录故障期间的数据差异变化，待故障恢复后，自动将增量数据同步到从LUN。3.4异步+异步并联工作原理3.4.1初始同步处理生产中心与同城灾备中心异步复制主从LUN之间和同城灾备中心与异地灾备中心异步复制主从LUN之间都需要进行初始同步，初始同步可以在线进行。复制带宽足够的情况下可以配置完就启动初始同步，带宽不足情况下，可以有几种初始同步方式：1.临时增加复制带宽完成初始同步。2.将设备搬迁到一起来完成初始同步。3.通过移动介质存储中转进行初始同步。异步复制初始同步系统自动创建快照，将主LUN数据全部复制到从LUN，复制期间新增数据不会复制到从LUN中。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第21共39业务连续性容灾解决方案两地三中心解决方案技术白皮书3.4.2正常状态处理具体处理流程如下：1.主机下发IO到存储系统A的LUN1。LUN2和LUN3分别是LUN1不同时间点的副本，LUN3的数据副本一般比LUN2的数据副本时间要早（如果LUN2是10点的，LUN3可能是9点的数据）。LUN1既是存储系统A与存储系统B异步远程复制的主LUN，又是存储系统A与存储系统C异步远程复制的主LUN），B站点、C站点LUN对于主机默认均为只读。2.当A-B异步远程复制同步周期到来，存储系统A生成LUN1在此时间点的数据（如t1时间点数据）。3.存储系统B生成同步开始前LUN2的多时间点数据（如t2时间点数据）。如果异步远程复制同步失败，当需要使用LUN2运行业务时，系统自动回滚多时间点数据，以保证存储系统B中数据的可用性。当B-C异步远程复制同步周期到老，存储系统B生成LUN2在此时间点的数据（如t2时间点数据）4.后台启动由LUN1在t1时间点的数据到LUN2的周期性同步。5.当A-C异步远程复制同步周期到来，存储系统A生成LUN1在此时间点的数据（如t3时间点数据）6.存储系统C生成同步开始前LUN3的多时间点数据（如台t4时间点数据）。如果异步复制失败，当需要使用LUN3运行业务时，系统自动回滚多时间点数据。7.后台启动由LUN1在t3时间点的数据到LUN3的周期性同步。异步复制处理过程如下：文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第22共39业务连续性容灾解决方案两地三中心解决方案技术白皮书1.主LUN1的写IO处理2.在周期N，将新写入主LUN的数据写入Cache中。3.在下一个周期N+1，将周期N缓存的数据复制到从LUN12，同时将周期N+1新收到的写数据继续写入Cache中。数据复制完成后，进入下一周期。4.按照步骤2)重复进行。5.从LUN1’的写IO处理6.周期N开始时，对从LUN进行快照activating，即对周期N-1的数据在Cache和存储介质中进行快照activating。7.在周期N中，接收由主LUN同步而来的数据，写入从LUN的Cache。8.该周期复制完成后，disable从LUN的快照。9.从LUN2的写IO处理10.周期N-1开始时，对从LUN进行activating，即对周期N-2的数据在Cache和存储介质中进行快照activating11.在周期N-1中，接收由主LUN同步而来的数据，写入从LUN的Cache。12.该周期复制完成后，Disable从LUN的快照。如果主LUN的写IO带宽临时性增大，或者阵列间链路带宽临时减小使得复制周期变长，导致周期内写入数据过多，超过了Cache所能缓存的写数据量，则远程复制会采用日志对超出部分进行记录，不会中断周期性同步。远程复制会严格保证从LUN的数据一致性，即写IO的依赖关系。在主LUN的IO处理中，在每次周期间切换时，远程复制会保证将有依赖关系的两个写IO纳入同一个周期，或者按照其顺序分别纳入先、后周期，不会出现先写入的IO纳入后一周期，而后写入的IO纳入前一周期的情况。在从LUN的IO处理中，当主LUN故障后需要访问从LUN时，远程复制会检查从LUN是否完成当前周期的复制，如果没有完成，则使用快照对从LUN进行回滚，使其数据保证为周期切换点时的状态，保证其数据一致性。通过Cache中的异步复制，最高可以实现1~6s的秒级RPO的数据灾备要求。3.4.3灾难切换处理1）生产中心故障当生产中心发生灾难后，不能再提供业务。同城灾备中心的从LUN保存着与主LUN较短时间间隔的数据，保障尽量少的数据丢失，RPO可达0~6s，如果同城灾备中心部署有备用主机，则备用主机可以访问从LUN，接管业务，保证最短时间的业务接管。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第23共39业务连续性容灾解决方案两地三中心解决方案技术白皮书从LUN开始被主机访问后，每次收到新写入的数据，远程复制会自动记录其地址，以便用于后续增量恢复，缩短业务回切的时间。2）生产中心和同城灾备中心都故障当生产中心和同城中心在重大灾难或者都故障后，异地备中心的从LUN保存着与主LUN间隔一定时间周期（复制周期）之前的数据，保障数据绝大部分不丢失。如果异地同城灾备中心部署有备用主机，则备用主机可以访问从LUN，接管业务。异地灾备中心从LUN开始被主机访问后，每次收到新写入的数据，远程复制会自动记录其地址，以便用于后续增量恢复，缩短业务回切的时间。3.4.4灾难恢复处理数据未被破坏时当生产中心灾难恢复后，如果存储系统A和B没有受到破坏，主LUN能够恢复其原有数据，则远程复制可以将主LUN故障期间，从LUN1’新写入的数据增量复制到主LUN。复制完成后，主、从LUN保持复制关系。此时，可以将业务切换回生产中心，重新由生产主机访问存储阵列A的主LUN，远程复制重新保持由主LUN向从LUN实时同步数据。数据完全被破坏时当存储系统A或B被破坏，数据不可修复时，需要重建存储系统A或者存储系统B，将从端数据反向复制到主端存储系统A和存储系统B上，调整主从关系，在生产中心恢复业务。3.4.5链路和灾备端故障当生产中心与灾备中心的复制链路故障或者灾备中心设备故障，则远程复制自动断开复制，不影响生产系统的正常运行。生产中心主LUN将记录故障期间的数据差异变化，待故障恢复后，自动将增量数据同步到从LUN。3.5VIS双活+异步工作原理3.5.1初始同步处理双活+异步复制初始同步主要包括双活数据中心之间初始同步和双活到异地灾备中心异步复制主从LUN之间的初始同步。复制带宽足够的情况下可以配置完就启动初始同步，带宽不足情况下，可以有几种初始同步方式：1.临时增加复制带宽完成初始同步。2.将设备搬迁到一起来完成初始同步。3.通过移动介质存储中转进行初始同步。异步复制初始同步系统自动创建快照，将主LUN数据全部复制到从LUN，复制期间新增数据不会复制到从LUN中。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第24共39业务连续性容灾解决方案两地三中心解决方案技术白皮书3.5.2正常状态处理VIS镜像的写I/O流程如下：1.写请求到镜像卷；2.镜像卷将请求复制为两份下发到两中心的镜像数据盘；3.镜像数据盘返回写操作完成；4.镜像卷返回写I/O操作完成。5.T时间点定时发起远程复制，创建一致性快照6.异地灾备中心阵列自动创建时间戳快照（失败时用于回滚）7.数据增量复制到异地。当单阵列或单数据中心故障时，镜像卷选取正常数据中心的阵列响应主机I/O，并采用差异位图盘记录故障期间数据的变化情况，待故障修复后进行增量同步，从而减少数据同步量，缩短数据同步时间，降低数据同步对带宽的需求。参与复制的磁盘阵列出现故障后，可修复的条件下，自动继续增量数据复制，无法修复时，需要重新进行数据初始同步。通过双活+阵列复制的两地三中心实现，最高可实现同城业务RPO和RTO低至零，实现同城数据中心的业务自动接管。通过对异地灾备中心的容灾一键式恢复，可以实现异地业务分钟级别。3.5.3灾难切换处理双活+异步复制的灾难切换分成生产中心A、生产中心B和生产中心A和B均故障时的切换处理。1）生产中心A故障当生产中心A发生灾难后，生产中心B自动接管业务。具体故障处理请参考双活方案介绍。2）生产中心B故障文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第25共39业务连续性容灾解决方案两地三中心解决方案技术白皮书当生产中心B与异地灾备中心实现异步复制时，生产中心B发生灾难后，不影响生产业务的接管。由于生产中心与异地灾备中心通过异步复制容灾，生产中心B发生灾难后，生产系统当前的数据无法继续异步复制到异地。当生产中心B可以修复的条件下，修复之后，双活自动将差异数据同步到生产中心B磁盘阵列中，异步复制继续增量复制到异地灾备中心。当生产中心B无法修复的条件下，双活需要重新初始同步镜像数据，并重新初始复制到异地灾备中心磁盘阵列中。3）生产中心A和生产中心B都故障当生产中心A和B在重大灾难或者都故障后，异地备中心的从LUN保存着与主LUN间隔一定时间周期（复制周期）之前的数据，保障数据绝大部分不丢失。如果异地同城灾备中心部署有备用主机，则备用主机可以访问从LUN，接管业务。异地灾备中心从LUN开始被主机访问后，每次收到新写入的数据，远程复制会自动记录其地址，以便用于后续增量恢复，缩短业务回切的时间。3.5.4灾难恢复处理数据未被破坏时当生产中心灾难恢复后，如果存储系统A和B没有受到破坏，主LUN能够恢复其原有数据，则远程复制可以将主LUN故障期间，从LUN1’新写入的数据增量复制到主LUN。复制完成后，主、从LUN保持复制关系。此时，可以将业务切换回生产中心，重新由生产主机访问存储阵列A的主LUN，远程复制重新保持由主LUN向从LUN实时同步数据。数据完全被破坏时当存储系统A或B被破坏，数据不可修复时，需要重建存储系统A或者存储系统B，将从端数据反向复制到主端存储系统A和存储系统B上，调整主从关系，在生产中心恢复业务。3.5.5链路和灾备端故障当生产中心与灾备中心的复制链路故障或者灾备中心设备故障，则远程复制自动断开复制，不影响生产系统的正常运行。生产中心主LUN将记录故障期间的数据差异变化，待故障恢复后，自动将增量数据同步到从LUN。3.6HyperMetro+异步级联工作原理HyperMetro支持通过异步级联和异步并联两种模式组成3DC，技术原理上比较类似，下面介绍HyperMetro+异步级联模式的工作原理。3.6.1初始同步处理HyperMetro+异步复制初始同步主要包括双活数据中心之间初始同步和双活到异地灾备中心异步复制主从LUN之间的初始同步。HyperMetro双活站点间推荐FC互联，可直接通过配置完成初始同步，与异地容灾中心根据互联带宽的情况可选择下面几种初始同步方式的一种完成初始同步。1.临时增加复制带宽完成初始同步。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第26共39业务连续性容灾解决方案两地三中心解决方案技术白皮书2.将设备搬迁到一起来完成初始同步。3.通过移动介质存储中转进行初始同步。异步复制初始同步系统自动创建快照，将主LUN数据全部复制到从LUN，复制期间新增数据不会复制到从LUN中。3.6.2正常状态处理HyperMtro双活+异步复制的写I/O流程如下：1.写请求到双活LUN；2.双活LUN将写请求双写到两中心的双活数据LUN；3.双活数据LUN返回写操作完成；4.双活数据LUN返回写I/O操作完成5.周期性的启动异步模式，主端创建时间戳快照，并通知灾备中心创建也创建时间戳快照6.增量数据复制完成后，异地灾备中心阵列创建时间戳快照（用于复制过程中，出现任何异常，可在灾备中心拉起业务）7.将增量数据复制到异地灾备中心8.增量数据复制完成后，异地灾备中心从LUN置为数据完整状态，复制置为正常关系通过双活+阵列复制的两地三中心可实现同城业务RPO=0，RTO=0，对异地灾备中心通过多时间点技术可实现秒级RPO，通过容灾一键式恢复，可实现RTO分钟级。3.6.3灾难切换处理双活+异步复制的灾难切换分成生产中心A、生产中心B和生产中心A和B均故障时的切换处理。1）生产中心A故障当生产中心A发生灾难后，生产中心B自动接管业务，生产中心B记录与生产中心A的数据差异，与灾备中心的异步复制不受影响。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第27共3914双活LUN生产数据LUN数据中心A阵列跨站点双活AA集群生产主机双活LUN数据中心B阵列灾备中心阵列56容灾LUN灾备主机7业务连续性容灾解决方案两地三中心解决方案技术白皮书当生产中心A的存储设备可修复并且双活数据LUN和双活配置都正常的情况下，生产中心B将故障期间的差量数据复制到生产中心A，直到双活工作状态全部恢复正常。2）生产中心B故障当生产中心B与异地灾备中心实现异步复制时，生产中心B发生灾难后，不影响生产业务的接管。由于生产中心与异地灾备中心通过异步复制容灾，生产中心B发生灾难后，生产系统当前的数据无法继续异步复制到异地。当生产中心B在可修复并且双活数据LUN和双活配置都正常的情况下，修复后自动将差异数据同步到生产中心B磁盘阵列中，异步复制继续增量复制到异地灾备中心。当生产中心B无法修复的条件下，双活需要重新初始同步镜像数据，并重新初始复制到异地灾备中心。3）生产中心A和生产中心B都故障当生产中心A和生产中心B分布较近，在重大灾难时均可能出现故障，此时可在异地灾备中心拉起业务。在灾备中心拉起业务时，数据要回滚到最近的一致性点，最多可能丢失两个复制周期的数据。异地灾备中心从LUN接管业务后，远程复制会记录差异数据，以便用于后续增量恢复，缩短业务回切的时间。3.6.4灾难恢复处理1）生产中心A故障的恢复当生产中心A的存储设备可修复并且双活数据LUN和双活配置都正常的情况下，生产中心B将故障期间的差量数据复制到生产中心A，直到双活工作状态全部恢复正常。当生产中心A无法修复的条件下，需要在生产中心A与生产中心B重新建立双活配置，重新完成初始数据同步。2）生产中心B故障的恢复当生产中心B在可修复并且双活数据LUN和双活配置都正常的情况下，修复后自动将差异数据同步到生产中心B磁盘阵列中，异步复制继续增量复制到异地灾备中心。当生产中心B无法修复的条件下，需要在生产中心A与生产中心B重新建立双活配置，在生产中心B与灾备中心建立异步复制配置，并完成初始数据同步，恢复生产中心A与生产中心B的双活关系，生产中心B与灾备中心异步复制关系，双活状态和异步复制状态均恢复正常后，结束故障恢复操作。3）生产中心A和生产中心B都故障当生产中心A和生产中心B在均可修复并且双活数据LUN和双活配置都正常的情况下，确认是否需要将灾备中心的数据同步到生产中心，如果需要，先将灾备中心数据复制到B，然后由生产中心B同步到生产中心A，完成后再恢复业务。如果不需要将灾备中心数据复制到生产中心B，可在生产中心A和生产中心B上直接恢复业务，灾备中心的新增数据会被覆盖。当生产中心A和生产中心B完全被破坏时，需要将灾备中心的数据同步到生产中心B，然后重建生产中心A和生产中心B双活配置，完成初始同步，然后再建立生产中心B到灾备中心异步复制关系，双活状态和异步复制状态均恢复正常后，结束故障恢复操作。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第28共39业务连续性容灾解决方案两地三中心解决方案技术白皮书3.6.5链路和灾备端故障为了应对无仲裁或仲裁故障的场景，HyperMetro有优先站点的概念，就是当网络故障后，优先站点会获得更多的机会接管业务。在HyperMetro+异步级联模式下，建议将优先站点设置在生产中心B，以便HyperMetro在网络故障或生产中心A故障，会仲裁到生产中心B承担业务，生产中心B与灾备中心的容灾仍能正常工作，保证RPO的达成。当生产中心A与生产中心B链路故障，HyperMetro将业务优先仲裁到数据中心B，数据中心B与灾备中心的复制不受影响。业务切换到数据中心B后，数据中心B会记录与数据中心A的差量数据，当网络恢复后，数据中心B同步差量数据到数据中心A，同步完成后，双活恢复到正常状态。当生产中心B与灾备中心的复制链路故障或者灾备中心设备故障，则远程复制自动断开，不影响生产系统的正常运行。远程复制自动断开后，生产中心B将记录故障期间的差量数据，待故障恢复后，自动将差量数据同步到灾备中心。3.7两地三中心容灾关键技术原理存储双活访问两地三中心方案中双活+异步复制实现的容灾方案中，同城双活涉及到的关键技术包括：跨中心存储集群，故障不间断访问和地域优化访问等几大技术，相关技术主要利用集群技术提供双活的存储架构，每个节点以共享卷方式向应用服务器提供无差异的并行访问，同时处理应用服务器的I/O请求；各节点间互为备份，均衡负载，任何节点故障后，其承接的业务自动切换到正常节点，保证系统的可靠性、业务的连续性。相关详细介绍请参考双活数据中心技术白皮书远程复制状态转移图远程复制有“同步中”、“已分裂”、“正常”、“异常断开”、“失效”几种状态，对各种状态的描述如下表：表3-1远程复制状态描述Pair状态状态描述正常（Normal）同步复制初始创建时选择主、从LUN无差异、或者主、从LUN同步完成后进入该状态已分裂（Splited）同步复制初始创建时选择主、从LUN数据有差异，或者同步中或正常或异常断开时选择执行分裂操作同步中（Synchronizing）分裂或者异常断开后执行同步操作异常断开（Interrupted）正常或者同步中状态时出现IO失败、LUN故障、复制链路故障进入该状态镜像失效主从阵列的Pair基本属性配置不一致文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第29共39业务连续性容灾解决方案两地三中心解决方案技术白皮书各种状态的转换关系如下图所示：图3-2远程复制状态转移图基于Cache的多时间点复制技术HyperReplication/A基于cache多时间快照技术，主端需要做COW时，主机IO写入Cache即可返回，不需要等COW完成后才返回，减少了COW对主机性能的影响，极大降低了远程复制同步数据时对主机的性能影响，同时远程复制拷贝数据时，主端直接从Cache读取拷贝数据，拷贝时延较小，使异步远程复制支持秒级RPO。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第30共39业务连续性容灾解决方案两地三中心解决方案技术白皮书图3-1Cache多时间戳复制原理BlockIO技术远程复制一致性组在特定场景下需要悬挂主机IO，阻止主机IO下发，保证一致性组中成员数据一致性。OceanStor企业统一存储系统基于BlockIO技术，多控下悬挂主机IO耗时能够达到微妙级，而业界悬挂IO耗时基本为秒级。通过BlockIO技术，可以减少远程复制对主机IO性能的影响，提升控制流程效率。跨站点坏块修复技术当磁盘阵列的硬盘出现坏道，且无法利用RAID重构技术进行修复时，或在主机向存储读写过程中发生DIF校验失败时，都可能导致主机业务中断。华为存储两地三中心解决方案提供了一种增强的坏块修复技术，当生产LUN出现不可修复的坏块或者DIF错误时，只要相关的数据已经复制到同城灾备LUN上，系统可自动将主机读请求重定向到同城灾备LUN，读到正确的数据并返回主机和修复生产LUN，大大提高整体解决方案的可靠性。反向增量同步技术OceanStor企业统一存储系统支持反向增量同步，在设置从LUN可写之后，便可将原灾备中心的LUN映射给备用生产主机，恢复生产业务，此时会对主从LUN的写记录差异。主从切换后，可以通过合并主从差异，进行反向的增量同步来使得灾难恢复后业务快速回切，避免拷贝全量拷贝数据带来的时间和资源开销。对于两地三中心容灾场景，不论是主站点故障还是主站点及同城灾备中心同时故障，业务在同城灾备中心或异地灾备中心恢复过程中都可以采用反向增量同步技术，大大提高了灾难恢复后业务回切的速度，减小业务切换过程中的影响。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第31共39业务连续性容灾解决方案两地三中心解决方案技术白皮书3.8容灾管理容灾管理软件，相当于整个容灾系统的大脑，对系统中各种资源如服务器、存储设备、软件等进行管理，针对容灾全流程如容灾迁移、容灾恢复、容灾巡检、容灾分析、容灾报表等提供业务管理，大大简化容灾系统的管理工作，降低容灾系统维护成本。DashBoard信息纵览DashBoard让容灾状态尽在掌握。主页面中直观展示任务执行的成功失败的运行情况，任务执行时间的长度，对ORACLE，SQLServer等应用的保护设置情况，统计信息，系统运行情况一目了然。实时直观的展示容灾系统的关键告警信息，便于及时发现和处理问题。图3-1容灾管理DashBoard向导式容灾配置向导式配置，大幅度降低容灾管理人员的技术门槛。容灾管理系统提供快速入门和向导式的操作方式，针对容灾系统中的软硬件系统资源，容灾站点，应用系统进行容灾设置。操作步骤一目了然，快速实现容灾业务的管理。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第32共39业务连续性容灾解决方案两地三中心解决方案技术白皮书图3-1容灾管理配置向导容灾保护智能关联容灾保护的智能关联，让容灾系统的配置和检查变得更加简单。容灾管理系统自动识别应用主机，应用程序，应用程序所使用的磁盘设备，磁盘设备的容灾复制关系等等。通过智能的容灾保护关联，管理人员只需要了解主机应用就可以端到端设置和管理应用系统的容灾和自动生成容灾的拓扑结构和详细信息。自动生成容灾拓扑全局容灾拓扑，让您掌控全局。不管是点对点，双活还是两地三中心容灾，全网灾备关系，运行结构在容灾Topo中一目了然。您可以清晰的了解组网结构生产端服务器设备状态，存储设备状态，容灾复制状态，灾备站点设备状态等等信息。图3-1容灾管理组网拓扑展示文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第33共39业务连续性容灾解决方案两地三中心解决方案技术白皮书一键式灾难恢复一键式灾难恢复，让灾难应对更简单。容灾管理系统可以让您一键式的测试灾备数据的可用性，一键式完成计划内迁移和测试灾备系统的可用性。也可以在灾难发生时在灾备端进行一键式故障恢复。您可以直观的看到执行过程，详细的步骤和执行结果，跟踪执行状态。图3-1一键式灾难恢复介绍文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第34共39业务连续性容灾解决方案两地三中心解决方案技术白皮书4两地三中心容灾业务恢复流程4.1容灾测试流程容灾测试是为了检验同城灾备中心或者异地灾备中心在灾难发生时的可恢复性和实际灾难恢复效果。可视化容灾管理系统提供一键式容灾测试功能，用户只需选中需要执行容灾测试的恢复计划，点击下图所示的“测试”按钮，系统将自动完成容灾测试并返回测试结果。图4-1一键式测试操作容灾测试流程主要通过测试和清理两个动作来完成，由于测试流程通过使用灾备中心的快照数据来恢复业务系统，因此执行容灾测试和环境清理时不影响生产系统和容灾业务。测试实现原理如下：13.对灾备中心的远程复制目标LUN创建快照。1.将快照映射给灾备中心备用主机。2.在灾备中心备用主机上拉起业务。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第35共39业务连续性容灾解决方案两地三中心解决方案技术白皮书3.在备用主机上测试同城灾备数据的可用性，一致性。清理实现原理如下：1.停止同城灾备中心主机测试业务。2.删除快照到同城灾备中心备用主机之间的映射。3.删除快照。4.2计划性迁移流程计划性迁移是指通过模拟生产中心故障场景的场景，在灾备中心恢复生产业务，以此来检验容灾切换流程可行性及容灾数据可用性。可视化容灾管理系统提供一键式计划内迁移功能，在确认生产系统已经停止应用的情况下，只需点击下图所示“执行”按钮即可完成容灾切换。图4-1一键式计划性迁移一键式计划性迁移原理如下1.停止生产中心主机业务。2.删除生产中心远程复制主LUN到生产中心主机的映射。3.将同城灾备中心的LUNB设置为可读写状态。4.将同城灾备中心的LUNB映射给同城灾备中心备用主机。5.在同城灾备中心备用主机上拉起业务。6.在备用主机上测试同城灾备数据的可用性，一致性。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第36共39业务连续性容灾解决方案两地三中心解决方案技术白皮书4.3故障切换流程当生产中心遭遇火灾、洪水等灾难时，往往会导致整个生产中心出现故障，业务无法继续运行。可视化容灾管理系统提供一键式故障切换功能，在生产中心发生灾难时只需点击下图所示“执行”按钮即可完成故障切换。图4-1一键式故障切换一键式故障切换工作原理一键式故障切换包括：生产中心故障，将业务恢复到同城灾备中心；生产中心和同城灾备中心故障，将业务恢复到异地灾备中心。主要的实现步骤如下：1.生产中心发生城区停电，业务中断。2.将灾备中心的LUN设置为可读写状态。3.将灾备中心的LUN映射给同城灾备中心备用主机。4.在灾备中心备用主机上拉起业务。5.在灾备中心的备用主机上测试同城灾备数据的可用性，一致性。6.故障切换流程结束。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第37共39业务连续性容灾解决方案两地三中心解决方案技术白皮书5总结本文介绍了华为两地三中心解决方案的架构、实现原理以及容灾恢复流程。由于华为全系列存储产品都采用统一的存储操作系统平台，高、中、低端阵列之间都可建立远程复制关系。客户在产品选型时，可以根据业务需要选择匹配的异地灾备中心磁盘阵列，显著提升容灾建设投入产出比。华为容灾管理软件OceanStorReplicationDirector支持可视化展示两地三中心的物理拓扑和业务逻辑拓扑。并且支持一键式容灾测试和切换，支持客户定制脚本一键恢复备用业务系统，简化灾备系统的管理和维护。文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第38共39业务连续性容灾解决方案两地三中心解决方案技术白皮书6缩略语缩略语英文解释中文解释RPORecoveryPointObjective恢复点目标RTORecoveryTimeObjective恢复时间目标FCFibreChannel光纤通道IPInternetProtocolInternet协议iSCSIInternetSCSI互联网小型计算机系统接口LUNLogicalUnitNumber逻辑单元号文档版本01(2015-01-30)华为专有和保密信息版权所有©华为技术有限公司第39共39',)