普元数据治理解决方案-证券

治理·让创新无限普元证券行业数据治理解决方案普元：领先的基础软件平台产品及解决方案提供商普元公司介绍-以技术为核心，专注产品研发基本概况•成立时间:2001年3月，2010年6月改制为股份公司总部于上海浦东张江，北京、广州、西安、武汉、成都、南京等地设有分支机构•注册资本：6678万元公司经营稳健，于2009年获得国家开发银行控股新开发基金等1亿投资•人员规模：800+，技术人员占比80%，核心管理和技术团队稳定•国家规划布局内重点软件企业、上海市高新技术企业•2012年和2016年，两次通过CMMI5级认证•国家博士后科研工作站、上海市研究生联合培养单位•国家云计算创新发展示范单位、国家高技术产业化示范工程单位、2015年成为中国大数据标准成员单位•公司目前拥有15项授权发明专利、在审专利20+项。资质荣誉普元公司介绍-数据治理处于国内领先地位，客户涉及各个行业金融业部分客户政策性股份制城商行保险资产农商行其它行业部分客户证券普元数据团队：提供咨询、产品、实施、培训一站式服务团队规模50+人团队经验有10+人参与过5+个数据治理项目团队能力售前咨询与培训、售中产品实施与开发、售后维护项目经验金融行业20+、总共40+其他多名DAMA-CHINA成员/全国信标委大数据标准工作组成员、专家/北上广等多地有本地实施团队目录1证券数据治理现状5总结４业界数据治理建设经验３数据治理应用场景及平台关键特性２证券数据治理建设方案证券数据治理现状：高效运营和外部监管是行业数据治理驱动力证券企业的IT系统经历了数据量高速膨胀的时期，海量的、分散在不同角落的数据导致了更加复杂的数据环境。企业无法从统一的业务视角去掌控整个企业内部的数据信息，以便更好的规划IT用于支撑业务运行。高效运营数据是企业的生命线，谁掌握了准确的数据谁就获得了先机。在当前竞争日益激烈的市场上，企业都在不同的细分市场上争夺优质客户。只有基于高质量的数据，才能够帮助企业在激烈的竞争中取得竞争优势。竞争创新风险监管《证券公司全面风险管理规范（修订稿）》第33条的要求：“证券公司应当建立健全数据治理和质量控制机制。积累真实、准确、完整的内部和外部数据，用于风险识别、计量、评估、监测和报告。证券公司应将数据治理纳入公司整体信息技术建设战略规划，制定数据标准，涵盖数据源管理、数据库建设、数据质量监测等环节。证券数据治理现状：大量的券商开始开展数据据治理工作成长阶段成熟阶段随机阶段认知阶段创新阶段●人员组织：临时人员或无人员●流程制度：无●技术支撑：无●人员组织：科技人员兼职●流程制度：项目方式的临时流程●技术支撑：office文档、数据分散存储●人员组织：有专职或兼职人员、有明确的职责●流程制度：系统、部门内固化流程●技术支撑：系统内数据管理、数据集市、没有或有分散的数据管理平台●人员组织：有固定专职人员，人员分工细化●流程制度：跨系统、跨部门的固化流程●技术支撑：数据仓库、企业级数据管理平台●人员组织：专职组织，人员分工常态化，数据服务常态化●流程制度：优化的企业级管理流程●技术支撑：优质数据仓库，大数据仓库，掌握企业数据/业务需求，联动的、常态化的数据管理平台0102030领导组织组织环境制度流程产品支撑实施能力数据治理成熟度评估模型数据治理评估角度数据质量元数据数据标准主数据数据安全大量券商启动、咨询、规划数据治理项目华泰、海通等证券数据治理困难和挑战：数据治理推进还有不少问题需要解决•缺乏对企业数据整体情况了解，想推行数据标准落地防范，不知从何做起。数据摸底不清，无从下手•没有完整的数据治理落地方法，即使有管理办法、数据标准也会束之高阁，没有真正的发挥作用。缺乏方法指导，落地困难•缺少企业级完善的数据管理体系，组织、流程、标准体系等方面有缺失各自为战，建设内容割裂•数据标准统一非常难，各个业务部门都以数据业务正在使用为由，短期不愿意去改。整改周期长，成果见效慢•系统采用不同的技术手段实现，管理难度大，成本高；缺少工具支撑，实施成本高•……证券数据治理方法：成熟理论、平台和实施经验解决实施难题实施方法论•实施计划•复核、监控和更新差距分析实施计划差距分析差距分析路线图评估当前环境企业数据需求数据质量元数据行业数据特性•优化过程数据蓝图规划数据标准数据模型主数据……数据架构管理数据质量管理元数据管理文档&内容管理DW&商业智能参考数据&主数据管理数据安全管理数据操作管理数据开发数据治理的九大功能域数据治理软件工具企业文化&组织管理活动交付成果角色职责实践技术目标策略数据治理的六项组成要素统一管理企业数据资产统一的企业数据标准闭环的质量保障体系…完善的流程和组织保证证券数据治理目标：建立制度、流程和平台满足监管和管理要求监管要求落实监管要求形成数管流程数据资产统一维护建立数据标准体系建立统一的数据治理管理体系，建设数据治理平台，包括：元数据管理、数据标准管理、数据质量管理，以落实全面风险管理规范数据治理监管要求。借鉴国内外同行业数据治理经验，快速形成数据治理相关的组织、规范、制度和流程。基于元数据实现企业数据资产的统一视图，提供元数据的关联分析、版本维护等，提升数据运维水平，辅助资产管理应用。梳理企业数据标准体系和指标的加工口径，形成统一管理和维护平台及流程。生命周期管理提供完善的数据生命周期管理，重点数据的归档管理，提升数据应用率。提升数据质量依托数据标准，统一业务术语、业务指标口径，解决数据不一致问题；通过业务梳理形成数据业务规则，提升数据质量。内部管理目录2证券数据治理建设方案1证券数据治理现状5总结４业界数据治理建设经验３数据治理应用场景及平台关键特性目前数据治理工作已经有很多成熟的建设方法DAMA数据管理知识体系IBM数据治理咨询体系DGI数据治理咨询框架主要分为以下几大派系：治理框架优点缺点DAMA分为治理框架与环境要素框架两部分；内容较为完整丰富内容过多，重点不突出；没有明确提及IBM给出了6大数据治理关注领域，和10个数据治理要素；内容完整。和支撑手段分开，不利于数据治理工作的开展。DGI从战略、组织架构、流程到技术架构、逻辑清晰过于强调组织、政策和流程的重要性Terdata简明扼要，给出了数据治理的重要核心要点对于国内银行的实际来说，框架过于简单Terdata数据治理咨询框架通过调研、规划、平台建设和落地实施逐环节解决数据管理难题现状分析对当前各业务系统平台现状进行深度调研。解决项目开展从哪里做起问题。体系规划梳理各系统业务流程、数据模型、数据流向、数据全生命周期等要素，制定数据标准、管理规范和流程。解决项目建设目标问题。平台建设构建数据资产平台，数据标准和指标管理平台，质量检查平台、流程平台，形成数据技术支撑能力。解决项目实施效率问题。落地实施纳入和管理数据资产、逐步落地数标准、开始数据质量检查，提出优化建议，形成良性数据管理闭环管理，落地数据管理流程。利用咨询加平台的总体思路解决企业存在的问题，实现数据治理。咨询规划平台实施落地证券行业数据治理实施步骤-现状分析现状分析体系规划平台建设落地实施数据治理现状调研分析数据治理体系规划数据治理平台建设数据治理落地实施能力评估机制评估系统评估评估标准评估实施评估结果DCMM《数据能力成熟度评估模型》《治理组织、制度、流程架构》《数据治理系统功能架构》治理能力领域状况图1.问卷设计2.访谈实施3.能力评分4.能力评估5.结果分析现有系统功能评估总览管理制度评估总览关键发现评估建议1.建立流程框架2.建立能力－流程映射关系3.流程细化评估4.流程改进建议1.建立治理系统功能框架2.建立功能模块与数据治理能力的对照关系证券行业数据治理实施步骤-现状分析-示例现状分析体系规划平台建设落地实施系统调研模板应用调研模板访谈提纲模板管理办法模板XXX现状分析与评估报告xx大数据咨询项目调研分析报告.pptxxx大数据咨询项目调研分析报告.docx访谈纪要公司领导大数据咨询项目访谈伍总20151015.doc大数据咨询项目访谈x处20151019.docx信息部门访谈记录_1_图情管理信息系统.docx访谈记录_2_eSOMS系统.docx访谈记录_3_xx大修准备P6系统.docx访谈记录_4_x一厂MMS检修管理系统.docx访谈记录_5_CEAS及TEAM系统.docx访谈记录_6_xx环境应急管理系统软件平台.docx访谈记录_7_xx全寿期管理系统试点项目.docx访谈记录_8_N1-EAM.docx访谈记录_9_N1-ECM.docx访谈记录_10_CNNO.docx访谈记录_11_KTS.docx访谈记录_12_xx厂化学数据管理软件.docx访谈记录_13_三废信息管理系统.docx访谈记录_14_xx理支持平台.docx访谈记录_N_XXXXXXX.docx访谈记录_42_全生命周期管理.docx业务部门访谈记录_38_设备可靠性处.docx访谈记录_39_物资采购处.docx访谈记录_40_财务领域.docx访谈记录_41_人力资源领域.docx访谈记录_43_文档管理处.docx访谈记录_44_经营计划处.docx访谈记录_45_固定资产.docx访谈记录_46_经验反馈处.docx访谈记录_47_维修一处.docx访谈记录_48_技术二处.docx访谈记录_49_维修二处.docx调研问卷系统信息调研梳理（系统基本信息）.xlsx系统信息调研梳理（系统开发信息）.xlsx系统信息调研梳理（系统运维信息）.xlsx系统信息调研梳理（系统调用关系）.xlsx系统信息调研梳理（系统集成信息）.xlsx数据存储调研梳理（系统数据实体）.xlsx数据存储调研梳理（系统数据表）.xlsx数据应用调研梳理（数据应用场景）.xlsx各部门调查问卷回收数量统计：从信息项目处下发Excel3个，内容设计8个表格，需由21人填写，回收12人填写的材料，且材料内容不全。222.252.251.6731数据管理(组织&流程)数据标准&政策数据质量主数据元数据数据建模数据生命周期满分值评分值0分：不存在1分：存在但低效2分：有限的3分：进行中4分：专业5分：成熟1数据管理组织不健全，流程不清晰4主数据维度重复、口径不统一、质量无追溯、共享不同步关键维度问题2数据标准&政策不完整、不清晰，传播不到位，执行不彻底数据质量难监控、难识别、难追溯、难清洗35元数据获取方法单一、无血缘关系、定义不明确、更新不及时数据建模规范不统一、规范不完整、难落地6数据生命周期大冗余、无监控、无停用7证券行业数据治理实施步骤-体系规划现状分析体系规划平台建设落地实施2018/4/13基础类数据标准管理数据服务管理数据质量管理元数据管理数据模型管理主数据管理数据安全管理外部数据管理数据生命周期•数据标准管理办法•数据标准管理考核•数据质量管理办法•数据质量检核•数据模型管理办法•元数据管理办法•元数据管理考核•外部数据管理办法•数据安全管理办法•数据安全管理考核•主数据管理办法•主数据管理考核•数据标准管理团队•数据标准管理员•数据质量管理团队•数据模型管理团队•需求管理团队•元数据管理团队•数据安全管理团队•主数据管理团队•数据标准管理流程•数据质量管理流程•数据模型设计评审管理流程•报表需求管理流程•数据录入维护管理流程•元数据管理流程•外部数据管理流程•数据安全管理流程•主数据管理流程•数据归档管理流程•数据交换管理流程•数据标准执行检查•数据质量剖析工具•数据质量检核工具•数据模型设计工具•统一报表平台•数据服务管理平台•外部数据存储平台•数据安全管理系统•主数据管理系统•数据交换平台•历史数据存储平台•集中备份系统•数据服务管理办法•报表需求管理办法•数据录入维护管理办法•数据生命周期管理办法•数据交换管理办法组织制度流程技术指标管理•指标管理办法•指标管理考核•指标管理团队•指标管理员•指标管理流程•指标管理执行检查•数据管理系统•数据存储平台•数据管控专职团队•数据管理角色及认责•数据认责流程•项目开发管理流程•数据管控综合