ArchSummit北京2015-《微众银行基于自主可控技术的分布式架构实践》-李靖

自主可控的分布式互联网银行架构 李靖 微众银行基础架构产品部 2015年12月18日 - 浅谈微众银行的新一代IT架构建设 • 副标题一 • 副标题一 • 副标题三 • 副标题四 • 副标题五 12 3 • 《关于应用安全可控信息技术加强银行业网络安全和信息化建设的指导意见》 国家政策 • 普惠金融为目标 • 个存小贷为特色 • 数据科技为抓手 • 同业合作为依托 银行战略 • 30亿资本金 • 半年筹建期 • 传统IOE架构制约 客观限制 自主可控为核心的科技战略 去IOE X86服务器 开源技术 国家政策、银行战略、客观限制，微众走上自主可控之路 “互联网+”下普惠金融战略对微众信息化建设提出的挑战 海量客户 ANYONE ANYTHING ANYHOW ANYWHERE ANYTIME 任何人在任何地点、任何时间，任何场景下，通过多种手段，均可使用银行服务 海量交易 海量数据 融合创新、平衡互补 - 站在十字路口的新一代银行IT架构 微众  架构 互联网＋ 传统金融 • 海量用户 • 海量交易 • 海量数据 • 安全 • 稳定 • 影响可控 高性能 • 亿级客户量 • 千万级日交易量 高弹性 • 容量扩展性 • 性能扩展性 低成本 • 开源技术 • 低端服务器资源 高可用 • 快速恢复 • 高冗余 低风险 • 故障影响隔离 • 影响范围小 高标准 • 自动化运维 • 规模化管理 自主可控的全分布式架构 IT架构的演变及探索 全量业务 全量客户 集中式紧耦合架构 业务1 全量客户 集中式松耦合架构 业务2 业务3 全量客户 全量客户 全量 业务 M 全量客户 多主节点架构 全量 业务 M 全量 业务 M 全量 业务 M 全量客户 一主两从节点强同步架构 全量 业务 S 全量 业务 S 分布式松耦合架构 业务1 业务2 业务3 客群1 节点1 客群2 节点2 客群3 节点3 分散风险 提高冗余 注：针对单个数据中心内的系统架构，容灾体系另需搭建 微众的选择 全量 业务 M 全量客户 一主两从节点强同步架构 全量 业务 S 全量 业务 S 分布式松耦合架构 业务1 业务2 业务3 客群1 节点1 客群2 节点2 客群3 节点3 微众银行IT架构 S S M S S M S S M 客群1 节点1 S S M S S M S S M 客群2 节点2 S S M S S M S S M 客群3 节点3 业务1 业务2 业务3 +  =  注：针对单个数据中心内的系统架构，容灾体系另需搭建 分布式架构总览 – 集中统一管理的“分行数据中心” 客户及账户数据节点 内部管理数据节点 零售客户层 账户层 基础架构层 零售客户层 账户层 基础架构层 后台管理 外联 后台管理 外联 客户数据节点 1 客户数据节点 2 零售客户层 账户层 基础架构层 客户数据节点 N ... 数据汇集 内部管理数据节点 1 内部管理数据节点 2 数据备份 数据备份 跨节点交易 零售客户层 账户层 基础架构层 客户数据节点X • 分布式部署逻辑单位：DCN，Data Center Node，数据中心节点 以客户为单位的可控分布 GNS 零售客户层 账户层 基础架构层 零售客户层 账户层 基础架构层 客户数据节点 1 客户数据节点 2 零售客户层 账户层 基础架构层 客户数据节点 N ... 数据 备份 跨节点交易 零售客户层 账户层 基础架构层 客户数据节点 1’ 一个客户的所有信息都包含在同一个客户数据节点中 Global Naming Service （GNS） 是整个以客户为单位的可控分布的核心： • 开立新客户时分配节点 • 后续业务处理过程中查找客户节点  双向扩展能力 – SCALE OUT & SCALE UP 系统负载 客户量 交易频繁度增加 • 随着客户量增加或客户交易频繁度的增加，系统负载也会随着增加 • 将客户量、交易频繁度与系统负载之间的关系解耦 Ø 横向扩展（Scale Out）解决用户量增加 Ø 纵向扩展（Scale Up）解决交易频繁度增加 零售客户层 账户层 基础架构层 零售客户层 账户层 基础架构层 数据节点 1 数据节点 2 零售客户层 账户层 基础架构层 数据节点 N ... 零售客户层 账户层 基础架构层 数据节点X  随着用户规模增长需要，系统处理能力可以无限横向扩展 已部署节点 横向扩展 零售客户层 账户层 基础架构层 零售客户层 账户层 基础架构层 数据节点 1 数据节点 2 零售客户层 账户层 基础架构层 数据节点 N ...  基于相同配置的物理服务器，增加承载逻辑节点的物理资源，在容量不变的前提下，提升节点处理能力。 已部署节点 纵向扩展 承载分布式架构的平台 － 企业级互联网架构 微众银行的各个产品线 移动端APP 生物识别技术、移动支付技术 基于社交数据的消费信贷 基于社交数据的客户筛选、风险控制 基础平台 无状态公共服务资源 TDSQL CKV GNS、GSL NAS、TSS 大数据平台 基于CDH框架演进发展 离线、在线分析系统 SAS 深圳数据中心1 深圳数据中心2 上海数据中心 数据中心网络 消息交换设备 基于 KVM技术 弹性计算 信息通讯 业务能力层 基础能力层 基础资源层 像玩乐高一样 – 微众的积木块：区域、DCN、基础组件 DMZ ECN QZ CORE SF MGMT CS R-DCN C-DCN ADM R-DCN PADM TGWTGW堡垒机CITRIXCSWCFW…… RMBGNSTSSNASGSLTGWUMTDSQLTDSQLTDSQLTDSQLTDSQLBDPIMSAITOCMDBITSMAOMP一个典型的微众银行数据中心 • 标准化、模块化物理区域、逻辑区域（DCN）定义 • 物理区域以网络安全性为划分原则 • DCN以功能类型为划分原则 • 标准化、最简化的基础组件 • LESS is MORE • 按需进行模块化部署 微众的主机 - 基于X86、KVM和LINUX的标准资源模块 §  以标准化的资源模块作为物理资源管理单元  §  当前资源模块配置 - 100+台X86服务器： §  应用处理资源：576个CPU CORE、3TB内存、48TB磁盘（RAID5） §  高性能分布式高可用数据库：提供16TB有效存储空间 §  整个物理服务器集群可按需进行逻辑分区实现“虚拟化”，承载不同规模/用途的逻辑节点（DCN） TDSQL – 基于MySQL的分布式数据库 ZooKeeper 主 MySQL + Agent 备1 MySQL + Agent 备n MySQL + Agent …SetA主 MySQL + Agent 备1 MySQL + Agent 备n MySQL + Agent …SetBKeeperZooKeeperKeeper网关 网关 网关 应用 MySQL API ①②③④④⑤⑥管理节点 • KEEPER负责执行DDL、容量伸缩、主备切换； • ZK负责DB节点状态监控及主备选举 • 解析、路由DML • 收集、合并DML结果 • 监控并更新数据库路由 ü 完全不依赖商业的存储技术 ü 实时监控，实现高效的数据纠错、数据节点重建。 ü 数据库网关具备负载控制能力 ü 产品全部代码自主可控 Reliable Message Bus – 基于消息队列的消息总线 消息总线 （主） 消息总线 （备） 应用1 应用2 DCN1 应用1 应用2 DCN2 消息总线 （主） 消息总线 （备） IDC1 应用1 应用2 DCN3 应用1 应用2 DCN4 IDC2 1. 主备间消息数据强一致 2. 消息数据按策略本地持久化 3. 主备间自动切换，对应用无影响 1. 跨数据中心消息交换 2. 可按需开放交换策略，实现数据中心级别的消息隔离 ü 支持多种消息交换模型 § Request/Reply、多播、广播等 ü 支持两种消息交换模式： § 高性能模式、确保送达模式 ü 确保送达模式下： § 单个消息的状态确保一致 § 消息总线实现持久化 ü 基于消息队列深度监控，实现系统过载保护和消息流量控制 ü 依托服务治理体系，实现队列级消息访问权限控制 银行业最安全的互联网平台 WeBank 信息安全体系 n TB级的DDOS防护能力 n 全渠道钓鱼检测 n 恶意APP传播监控 n 域名劫持监测 n 外网高危端口扫描 n 办公网和生产网物理隔离 n 平台级入侵检测系统 n 弱密码扫描 n root密码独立管理 n 日志审计 n 海量数据拉取实时监测 n 机房内磁盘退役消磁 n 敏感数据加密存储 n 数据库操作审计 n 客户信息客户端掩码显示 n 自研WEB应用防火墙 n 业务上线前渗透测试 n 数据传输加密 网络安全 数据安全 应用安全 主机安全 自主可控技术为WeBank实现了领先的成本优势 CKV TGW TD-SQL WAF 洋葱 TDW 腾讯深度开发的 开源技术平台 TLinux 传统银行IT成本 约￥20-100元 / 账户·∙年 微众银行目标IT成本  同业平均水平的10% VS “大象”瘦身，跳起互联网舞步 传统银行基于IOE技术的IT架构 微众银行去IOE后的IT架构 l 低端硬件资源组成的集群 l 基于开放框架的X86服务器 l 基于开源技术的操作系统、虚拟化技术 l 商业化计算机硬件解决方案 l 基于封闭技术体系的操作系统、虚拟化技术 l 以IBM、HP为代表 I O E l 商业化数据库解决方案 l 提供复杂的事务管理、数据高可用技术 l 以DB2、ORACLE为代表 l 商业化数据存储解决方案 l 提供高性能、高可用的数据存储技术 l 以EMC为代表 l 基于开源的MySQL技术的分布式数据库技术 l 不依赖任何专用存储技术，完全采用服务器本地存储 l 通过自主研发的同步技术实现数据高可用 l 基于开源技术的操作系统、虚拟化技术 l 初始采购成本高 l 难以自主运维且服务成本高 l 技术无法掌握，可用性、扩展性完全依赖服务商评估  l 具备有限扩展能力，但扩展成本高 l 业务支撑能力有限，依赖供应商支持 l 采购成本低 l 技术完全自主可控，可自主运维 l 技术完全掌握，可自行制定容量管理等方案，无需依赖第三方 l 具备无限扩展能，扩展成本低，时效高 l 可完全按需支撑业务发展需要 持续演进的架构 － IDC 2.0 来了 IDC 2.0 • 数据库三中心集群化部署 • 三数据副本强同步 • 应用多中心多活部署 同城RPO=0 性能无限扩展、