银行业对象存储平台设计

封面作者：ZHANGJIAN仅供个人学习，勿做商业用途银行业对象存储平台设计企业级对象存储助力银行企业精简存储架构、提升非结构化数据存储效率目录一、企业非结构化数据存储的现状及痛点...........................................................................................................1（1）现状..................................................................................................................................................2（2）痛点..................................................................................................................................................2二、企业非结构化数据存储优化思路....................................................................................................................2（1）采用对象存储方案思路..............................................................................................................3（2）对象存储方案与传统分布式NAS方案的对比及总结..........................................................4三、平台测试与体验....................................................................................................................................................5（1）测试内容.........................................................................................................................................5（3）测试过程及结果.............................................................................................................................51、功能性测试.................................................................................................................................52、部署灵活性测试......................................................................................................................133、接口可用性测试......................................................................................................................144、系统可靠性测试......................................................................................................................175、系统管理性测试......................................................................................................................306、系统可维护性测试..................................................................................................................327、系统安全性测试......................................................................................................................36一、企业非结构化数据存储的现状及痛点随着本行数字化业务的持续开展和监管要求的不断提高，其中影像系统、呼叫中心系统，以及已经上线的后督系统等各类使用系统产生的影像文件、音频、视频等非结构化数据急速增加，本行正面临现有的文件存储设施不能适应业务增长、系统管理复杂、扩展能力差、访问能力差等问题。因此需要启动开放式海量非结构化数据的存储平台项目，满足本行海量的非结构化数据存储、读取、管理需求。文档收集自网络，仅用于个人学习（1）现状目前我行的影像数据主要分两块，一块是地市影像数据，主要承载着事后督查业务，一块是总行影像数据，主要是柜面和信贷的影像数据。11个地市的影像数据目前分别存放于11个SAN存储当中，根据地市的业务规模不一，存储容量也不一，平均每个SAN存储约50TB。总行影像数据通过存储分层架构实现在线、近线和离线数据的存储和隔离。在线存储存放于闪存（FS900）当中，约5T，保存了近7天的影像数据，并通过IBM的ECM客户端定期迁移至ECM系统所在的近线存储（DS8870）当中，约20T，保存了近30天的影像数据，最后再通过TSM备份软件每日将近线存储中的影像数据备份至华为（5300V3）离线存储当中，约200TB，当信贷或者柜面业务需要调取7天的影像数据时，直接读取在线存储，调取30天的数据时，先通过ECM客户端将ECM中数据抽取至影像平台，再传给业务系统，调取30天以上的数据时，需先通过TSM备份软件抽取备份的影像数据至ECM系统，再传给影像平台，最终传给相关业务系统。文档收集自网络，仅用于个人学习（2）痛点此架构通过存储的分层，不同性能的存储提供不同的IO服务，确实也在项目上线后的3、4年内，提供了比较高效非结构化数据存取能力。然而随着近两年存储的影像数据量的暴增，新增了多类业务的影像业务和数据，像互联网影像数据、手机银行及人脸识别影像数据、银企业务影像数据等等，这样就导致影像系统尤其是ECM系统压力的陡增，目前遇到的痛点主要在于ECM系统，无论是近线数据还是离线数据，影像数据的位置与影像数据间的关系等信息均存放于ECM数据库当中，该数据库为联机型关系数据库，随着数据量的剧增，ECM数据库的数据量已达到近5TB，7天以上的数据调阅均需要访问先ECM数据库，来获取数据位置，然而目前庞大ECM的数据库，并发读取性能已经越来越不满足业务的需求，因此数据调阅响应时间也越来越长。因此迫切需要对现有影像以及ECM的数据存储架构进行转型，精简该存储架构，全面提升影像数据的存储效率。文档收集自网络，仅用于个人学习二、企业非结构化数据存储优化思路鉴于我行目前非结构化数据主要存放在SAN集中式存储上，而传统存储采用集中式的元数据处理方式，因此，当我行影像系统在处理千万、亿级的文件量时就会出现陡峭的性能骤降拐点，直接表现就是前端影像平台处理效率降低，柜面、信贷、事后督查等涉及影像的业务效率的下降，最终导致客户满意度的下降，这显然不利于我行的健康持久发展。因此我行需要对现有存储中的文档收集自网络，仅用于个人学习海量数据进行整合、精简存储架构，目前非结构化海量数据存储较好的方案主要有传统分布式NAS方案和对象存储方案。传统NAS存储方案由于和现有SAN存储方案类似，都是基于文件系统的方案，均为树形目录组织结构，随着数据量的增大，同样存在文件寻址越来越慢的瓶颈。另外如果将现有SAN方案改为NAS存储方案，IOPS和IO响应时间还有所降低，尤其是在线储存目前所用的为闪存阵列，近线存储为DS8870，地市后督影像存储为华为5300V3，NAS方案显然不适合对现有架构进行改造，且存在越改越差的情况，并且对NAS存储的容灾备份方案，依旧是两套NAS镜像的方式，副本数较少，备份效率低，数据一致性校验困难。因此我行在非结构化存储架构转型偏向于对象存储方案。文档收集自网络，仅用于个人学习（1）采用对象存储方案思路我行期望通过使用分布式对象存储架构替换传统的SAN存储架构，能够解决海量非结构化数据的集中存储及访问问题，提升非结构化文件存取效率，解决地市影像和总行影像存储单点问题，并尽可能的精简现有非机构化数据的存储架构。而分布式对象存储能够保证不丢失数据、不中断服务、提供良好的用户体验，解决存储扩容复杂问题。由于分布式对象存储采用扁平化的数据组织方式，所以目录架构扩展性强，耦合性低，增删节点时所需迁移的数据少。整体而言，在业务系统、IT性能以及运维方面都带了本质的提升。因此利用对象存储的方案，可以解决我行三个方面的问题：文档收集自网络，仅用于个人学习1、精简非结构化数据存储架构。对总行而言，之前我行的存储架构为闪存-DS8870-华为5300V3，三层存储架构，且存储和现有生产交易类存储闪存和DS8870共用，一来非结构化数据不适合放于IO响应时间优异的存储当中，性能浪费严重，占用过多的存储空间，其他对IO响应时间要求较高的交易类系统，可能反而得不到高性能的存储。二来该存储架构过于冗余，数据存储具有大量迁移过程，如7天以上的数据由闪存迁移至DS8870,30天以上的数据由DS8870迁移至5300V3，历史数据调阅的过程又反向，虽然均通过ECM系统和TSM软件实现该过程，但效率较低，相当于，存储性能比较优异，但整体数据存取效率不高，尤其是历史数据的存储方面。对地市分行而言，11个地市分别部署了一套华为存储，独立使用，数据来源于事后监督系统通过抽取总行ECM的历史数据而来，数据和总行数据重合，却并不是总行数据的副本。而采用对象存储方案，可以通过总行和地市部署存储节点和访问节点的方式，将所有存储打通成一个大存储资源池，所有影像数据均放在该存储池，形成二层精简架构，所有数据的存取，包括柜面、信贷、后督系统对影像数据的存储，均通过本地的访问节点访问，大大提升了访问效率。文档收集自网络，仅用于个人学习2、提升非结构化数据的副本数和冗余度。相较于现有存储架构中的单副本数据，由于对象存储池中的数据可划分为多个副本，且每份影像数据也通过切片的方式分布于所有存储节点当中，因此数据的冗余度也大大提升，即使某一个或者多个存储节点发生故障，或者访问节点发生故障，均可以通过其他存储节点和访问节点获取数据。文档收集自网络，仅用于个人学习3、提升非结构化数据的存取性能。虽然目前的方案中闪存的引入，对于7天的影像数据的存取效率大大提升，但历史影像数据的调阅性能较差，导致该问题的一个主要原因在于历史影像数据调阅需要通过ECM客户端访问ECM系统中的存储数据，而该访问的过程首先要读取ECM数据库，获取存储数据的位置和地址，才能获取存储当中的数据，这样的弊端在于随着ECM数据库中数据量的增大，数据库访问效率大大降低，30天历史影像数据的调阅也就越来越慢，无法满足文档收集自网络，仅用于个