一体化数据管理技术交流-证券-XXXX0620

Commvault一体化数据管理[e-mail]客户LOGO21Commvault公司简介2数据管理面临的问题与挑战3Commvault解决之道4案例和总结公司创建于1996年，从AT&T贝尔实验室分离出来全球化企业：共有2,000多员工，遍布六大洲全球共有20000多客户，主要为财富2000强企业级客户具有业内最高的客户满意度：97%产品100%自主开发，没有任何收购NASDAQ上市（股票代码：CVLT）倡导“一体化数据管理”理念：单一产品实现数据保护、重复数据删除、数据分级管理、数据复制、存储快照管理、内容管理的一体化数据管理。4数据管理工具vs.数据管理平台Commvault一体化数据管理平台5一体化平台的优势费用及风险低，性能高，无限的灵活性5备份/恢复归档eDiscovery复制边缘数据保护搜索分析6Simpana现代化数据管理平台SimpanaContentStore内容存储池智能索引•对象•元数据•属性•全文索引•自助管理•规模效果数据拷贝•多个场所/地点•多个介质/驱动器•磁盘，VTL，磁带，云存储•快照/备份/归档数据集合•保留期限•数据缩减•合规7Commvault与传统数据管理方法对比备份&恢复文件、邮件归档、eDiscovery&法规遵从重复数据删除&数据压缩企业级报告复制、快照管理&CDP台式机/便携机保护CommvaultVeritasARCserveEMCTSMforSharePointIBMPrincetonSoftechCommonStorePureDiskCommandCentralReplicationExec™NetBackupEnterpriseVaultDiscoveryCollectorSRMNOTAVAILABLED2DControlCenterCenteraSourceOneHomeBaseReplistorRecoverPointNetworkerDPARepl.ManagerXtendersNOTAVAILABLE8连续五年获得企业级备份与恢复Gartner魔力象限领导者MagicQuadrantforEnterpriseDisk-basedBackup/Recovery;byDavidRussell,SheilaChilds,AlanDayley;January28,20112012GartnerMagicQuadrantforEnterpriseBackup/RecoverySoftwarebyDaveRussell,AlanDayley,SheilaChilds,PushanRinnen,11June20122013GartnerMagicQuadrantforEnterpriseBackup/RecoverySoftware,June2013MagicQuadrantforEnterpriseBackupSoftwareandIntegratedAppliances;byDavidRussell,PushanRinnen;June9,20149DCIG虚拟化备份软件评测--连续两年蝉联冠军910国内典型行业用户–2000+数据管理面临的挑战？12主要行业规范及要求证券期货信息与数据安全相关文件证券期货经营机构信息系统备份能力标准证券期货业信息系统安全等级保护基本要求信息安全技术信息系统灾难恢复规范访问控制数据保护容量规划生产中心灾备中心灾难恢复等级第4级灾难恢复等级第5级13相关指引和规范总结实现多级保护业务数据每天至少备份一次，且需场外存放数据分级保护,数据存放至少实现同城容灾和异地灾备备份数据具有完整性、安全保存和可恢复性的要求同时对数据在传输和存储过程中也有加密的要求加强日常维护备份系统运行监控制度，具有事先预检和事后报告机制明确访问控制及操作审计的规定应按照业务级别划分控制权限，对用户操作进行严格审计要求介质存取、验证和定期检验，对长期保留的备份数据要有介质验证和恢复演练制度，确保数据可恢复性满足未来发展制定容量规划，满足发展预测能够随时统计和掌握生产系统、备份系统的容量情况备份系统具有事先预定和监控机制14证券行业系统分类二级系统•投资顾问•黑莓系统•QFII投资管理•手机炒股•短信平台•CRM系统•呼叫中心•财务系统•法人清算•人力资源•邮件系统•……核心系统•核心交易•融资融券•风险控制•投资管理•账户管理•影像系统•网上交易•……三级系统•OA系统•电话录音系统•文件系统•门户网站•统一认证•……1515证券行业主要数据管理挑战–A.C.S.S•脚本dump数据库+FTP异地保存；•备份恢复过程往往需要大量脚本操作，过分依赖管理员或DBA技能，难以共享和监控，容易造成误操作；•缺少管理者视图，不能提供分权报告。•核心数据保留要求时间长，存有多个副本，导致后端备份存储成本居高不下；•大量历史数据在线存储，扩容和存储成本高。•数据同步无法防范逻辑错误和人为误操作；•核心数据库要求更高的RPO/RTO，能否快速恢复；•数据可用性能否保证：备份的数据能否有效恢复？•备份管理员往往具有Root权限，可以对所有数据做备份，恢复，查看的权限；•多人共用同一账号，难以审计。管理问题成本问题SLA问题安全问题ASCS16数据管理面临的问题与风险（1）易用性问题及风险全脚本化，容易误操作；备份策略变更麻烦，工作量大对运维人员的技术水平要求高，依赖程度高技术转移困难：备份管理员自身的转移，需要其他团队参与备份数据可用性问题及风险备份数据的恢复完全依赖审计或应用需求无备份介质检验机制，更无法做到自动化没有按照等保机制，做到备份数据的定期恢复演练；一旦真正做起来需要协调的部门多、工作量大17数据管理面临的问题与风险（2）安全问题及风险所有人员使用一个具有最高权限的账户，容易误操作，且无法审计？数据保留周期越来越长，设备不断更新换代，如何保证备份介质安全，数据可用？介质出库如何管理？海量小文件数据管理问题及风险备份时间窗口的问题？恢复SLA的问题？历史数据大量占用空间的问题？同城异地传输保留的问题？18数据管理面临的问题与风险（3）管理问题及风险无法对整个备份恢复的成功率、数据增长情况、介质利用率做及时、全面、易读的了解无法使各级人员掌握各自需要的信息系统越来越多，能否实现主动式运维和自助式服务，减少工作量？功能扩展问题及风险传统备份软件只是专门用于数据备份恢复的一个工具而已轻量级数据复制、重复数据删除、海量文件、虚拟化管理、桌面管理、邮件归档合规等各自需要专门的工具，复杂度越来越大如何把数据在“两地三中心”有效的传输、不同时间的保留、恢复、演练19从一个系统管理员的角度进行分析目前现状–祈祷小概率事件不会发生–繁杂的日常维护工作–大量的紧急事件需要处理–无法全面统计和预测数据增长核心交易系统数据库需要恢复到清算前！！1.融资融券需要增加快照保护2.某影像数据需要延长保留3.*本周五财务系统恢复演练1.备份数据所占存储空间2.目前介质使用情况3.明年存储扩容多少？需要再买多少介质？下周一要给老板！最佳实践方案–多级保护、检验和演练机制避免小概率事件–统一界面、统一策略、统一报告，实现维护自动化–日常维护流程化，加强预检机制减少紧急事件的产生–全面的统计和预测报告，实现数据管理规范化Commvault解决之道21数据管理最佳实践--四个现代化•管理界面友好、全图形化配置界面、备份/恢复无需脚本，从而释放对当事人的依赖、完善的报告和监控机制等简单易用•备份数据要有多份保留（本地、同城和异地）•备份数据完整、保存安全、可恢复验证•自动化恢复演练有效存放•完善的权限管理，从各个数据层面保证数据安全、加密管理、角色管理•审计筛选、审计跟踪权限控制•时间窗口管理、报告和监控管理、存储设备管理、数据保护管理、数据保留管理、介质管理、容量规划和预测规范化等管理规范22整体数据管理方案概览优化备份架构，结合权限集中管理。简化和安全管理。快速高效保护和颗粒度恢复。确保核心系统SLA。数据生命周期管理。降低存储成本。多中心统一管理和自动化灾难演练。集中监控和确保合规。如何优化备份架构？24生产中心传统备份系统的架构备份服务器介质服务器客户端代理索引备份服务器介质服务器客户端备份服务器介质服务器客户端双活中心/灾备中心备份服务器介质服务器客户端管理复杂重复投资无法共享难以监管25分布式、两级索引机制横向扩展MAMAMAMAMA更大范围中心分支机构分支机构更大规范地扩展：一个管理域能实现对10000台物理机，20000+虚拟机或桌面管理可分布于广域网：单一备份域实现多个数据中心的集中管理数据自描述格式：数据和索引存放在一个拷贝中，便于传输和恢复26集中整合数据资产任意数据源任意存储任意平台和数据中心27核心业务虚拟化备份域1备份域2备份域3OA/财务统一备份架构助您整合备份资源各业务系统分权管理满足多用户管理需求备份资源池共享，节约存储成本备份数据可管理人员成本维护成本硬件成本TCO降低50%+28Commvault用户权限控制示例权限控制设计Commvault统一管理平台本地数据中心系统管理员组配置/修改备份操作报告收集应用管理员组恢复操作本组主机查看/报告审计管理员组查看报告查看审计日志同城/异地数据中心两地三中心通过Commvault统一管理统一管理根据业务划分业务维护小组业务分组根据级别划分管理员权限权限分级29权限管理分组权限管理建议图形化实现按照业务组来划分计算机计算机组用中文标识，容易识别避免字母简称重复按照职能和业务组划分用户组权限融资融券组投资管理组融资融券浏览用户融资融券管理员浏览融资融券备份用户融资融券恢复用户恢复浏览如何满足业务系统不同的SLA保护需求？31不同SLA的数据管理策略服务级别应用类型数据特点核心核心交易，融资融券，网上交易…核心数据库Oracle为主二级OA,财务,投资顾问…轻量数据库和应用三级影像，dump文件，客服…海量非结构化文件为主核心2-4hRPO/RTO结合存储快照去重备份到磁盘定期检验快照–24h磁盘–30d异地–15y二级24hRPO/RTO天级备份恢复磁盘–7d磁带–60d三级48h+RPO/RTO归档保护，分级存储磁带-30天32证券行业数据多级保护建议恢复层保护层法规层应用层客户端业务系统生产层磁带库快照克隆卷同城/异地镜像复制本地存储异地灾备同城灾备CAS云存储Vaulting核心系统1.实时镜像2.硬件快照（每2小时一次，保留一周）3.快照克隆（每天一次）二级系统三级系统数据快照快照快速恢复多级保留法规遵循备份1.快照备份（每天一次）2.去重传送3.多级保留归档1.满足法规2.加密运输3.定期校验1.软件快照保护（每4小时一次，保留一周）1.数据归档2.传统备份3.去重传送4.多级保留1.定期校验2.加密保护无需该级别保护1.传统备份2.多级保留1.介质管理所有业务数据都需要备份保护！33CMD_STR=ORACLE_HOME=$ORACLE_HOMEexportORACLE_HOMEORACLE_SID=$ORACLE_SIDexportORACLE_SID$RMANtarget$TARGET_CONNECT_STRnocatalogmsglog$RMAN_LOG_FILEappendEOFRUN{ALLOCATECHANNELch00TYPE'SBT_TAPE';ALLOCATECHANNELch01TYPE'SBT_TAPE';SEND'NB_ORA_POLICY=XXDB3900-ORA2-BKP,NB_ORA_CLIENT=XXDB3900_SVC';BACKUP$BACKUP_TYPETAGhot_db_bk_level0FILESPERSET5#recommendedformatFORMAT'bk_%s_%p_%t'DATABASE;sql'altersyst