工商银行软件开发中心开放平台灾备高可用能力的探索与实践

金流如命悬丝续，一息停时万业枯。在金融行业，业务连续性是银行系统稳定运行的基石。近年来，中国工商银行软件开发中心（以下简称“开发中心”）积极响应人民银行、监管总局等监管机构的指导，持续不断地推进灾备高可用能力建设。为满足“令下即切，切即可用，用可持续”的监管要求，开发中心先后推进《开放平台灾备高可用提升建设项目》《人行异地带载演练示范工程》《人行压力测试同城切换演练工程》等项目，针对不同的灾备等级，形成了不同的应用部署参考架构（如图1所示）。参考架构对本地、同城、异地的系统高可用设计进行了统筹，指导不同灾备等级应用系统架构的设计和落地。

图1 应用部署架构

在灾备高可用能力建设过程中，开发中心重点攻坚了分布式服务框架、分布式批量框架和分布式事务平台等基础应用平台的灾备切换保障能力，使应用基于流量规则动态路由和域名切换完成灾备的不停机切流，实现了异地灾备切换联机业务的事务一致性保障，提供了常态化演练的技术支撑并满足了监管机构及人行灾备演练的严格要求。

灾备高可用架构复杂，涉及到分布式服务框架、分布式事务平台、批量处理框架、文件服务器和数据库等多个组件，灾备架构的建设需要覆盖全链路，确保各组件能够顺利完成生产环境与灾备环境间的协同切换。以开发中心核心业务之一的信用卡为例，其在灾备高可用系统的实践中存在着众多难点，具体表现为：

一是业务连续性要求高。信用卡业务涉及授权、清算、积分、风控等多个环节，且需7×24小时不间断运行，灾备演练时间窗口有限，对系统的切换速度(RTO)和数据恢复能力(RPO)提出了极高要求。

二是事务一致性要求严苛。信用卡交易涉及多系统、多节点的协同处理，需确保在灾备切换过程中事务的一致性，避免单边账、重复入账等风险。

三是交易数据量规模大、关联性强。信用卡业务应用场景广泛、用户基数庞大、日常交易频繁，会持续产生海量多维度的交易数据。同时串联用户、商户、支付渠道等多方信息，消费行为、风控、信贷等数据关联性突出，各维度数据逻辑联系紧密。

综上所述，信用卡业务系统具有高并发、强实时性和业务逻辑复杂等特点。其灾备系统的稳定性直接影响用户体验和银行信誉，必须确保在极端情况下仍能保持交易处理和数据一致性的高可用性。

开发中心根据业务架构建设的目标、灾备部署类型（同城或异地）、业务架构在实际运行中可能存在的问题，针对性设计了技术方法和演练方案，使生产与灾备环境之间能够平稳过渡、持续运行。包括但不限于：

一是高效切换，实现流量“智能导航”。基于分布式服务框架的流量规则动态路由和域名切换实现流量的高效切换。在分布式服务框架上扩展建设动态路由机制，服务消费方根据预定的切流规则动态筛选RPC请求的目标提供方（如图2所示），同时搭建智能域名，基于单元化健康探活完成对域名指向动态调整（如图3所示），实现提供方不停机情况下的流量无感切换效果，满足信息系统从停顿到恢复的切换速度（RTO）要求。

图2 基于规则动态路由

图3 智能域名切换

二是批量任务“异地重生”。在灾备园区扩容观察者节点，与生产环境的选举节点组成跨园区ZK集群（如图4所示），实现批量指令和配置信息的自动同步，让批量任务异地“重生”。在演练期间进行灾备系统的正反切换验证，确保切换过程中无数据丢失、无重复执行，切换后能恢复生产正常运行，有效实现了批量任务的异地调度能力。

图4 分布式批量

三是事务一致，保障交易“不丢不重”。搭建分布式事务平台（DTX）服务节点核心数据库集群，形成多园区对等的分布式事务平台架构（如图5所示）。另外，DTX平台通过“事务拦截清单”动态控制参演应用的SAGA主事务和子事务接入，确保事务一致性。同时，实施补偿机制保证在分布式事务平台异常事务执行失败时，能自动发起补偿流程，有效避免了单边账的发生（如图6所示）。

图5 分布式事务

图6 分布式事务补偿示意图

六是确保数据“精准统一”。基于数据复制平台，优化生产环境和灾备环境之间数据库同步机制，实现生产数据库与灾备数据库的提供时效为秒级的实时数据复制服务，保障数据的一致性。

通过对开放平台高可用灾备能力的建设与演练，有效保障了业务系统的可靠性与高效性。通过动态路由和智能域名的切换策略，将切换耗时由2024年的6分钟提升到1.72分钟，效率提升近2.5倍，在25年各银行机构中排名第一，表明开发中心同城高可用架构下的技术切换效率已处于行业领先水平。

开发中心在信用卡灾备高可用系统上的探索与实践，不仅是为了满足日益严格的监管要求，更是对“以客户为中心”理念的坚实落地。通过攻克分布式调用、事务一致性、动态路由、数据同步等一系列技术难关，并经过严苛的测试验证，中心正不断提升其业务连续性的保障能力。这背后，是无数工程师对系统稳定性的极致追求，最终目的就是让每一位持卡人无论何时何地，都能享受到安全、稳定、不间断的金融服务。金融系统的“韧性”，正是我们安心交易的基石！未来，我们将继续以技术创新为驱动，持续优化灾备体系，为客户提供更安全、更高效的金融服务。

前期精彩原创推荐（点击图片进入阅读）：