德勤-证券行业数据治理现在与未来v2dtt

源于数据服务于数据证券行业数据治理的现在与未来德勤中国|风险咨询服务2016年12月2016.1201PARTONE源于数据，数据治理的驱动力02PARTTWO证券行业数据治理规划与推进03PARTTHREE服务于数据，数据治理的未来01PART1源于数据，数据治理的驱动力41.风险管理中的数据治理公司内各条线的业务人员在业务开展的过程中往往会面临大量的、来自不同数据源的、异构的数据，如何有效管理和使用这些企业未来最重要的资产经常成为数据管理者和使用者的一大难题典型的数据源包括：公司内部数据、政府平台数据、征信数据、银联数据、第三方数据供应商数据、社交网络数据、埋点数据等等如何管理和使用数据数据是企业的重要资产5德勤全球数据中心（GDC）是一个专注于为客户提供（风险）数据的专业团队，目前设立在重庆依托德勤丰富的风险管理项目经验以及对客户一线需求的深入理解，该团队搭建了德勤风险数据平台提供风险数据服务数据来源德勤拥有丰富的风险管理项目经验，通过项目实施，在德勤内部数据库中积累了大量脱敏后的数据德勤内部数据针对外部数据的公开性，通过开发网络爬虫获取各监管单位、行业协会、类权威财经网等众多网站发布的数据通过外包形式，人工收集部分逻辑复杂的定性/非结构化数据外部公开数据通过API接口等方式接入第三方，针对性的获取第三方数据通过付费方式购买第三方数据第三方数据通过对接工商局、法院、教育部等政府平台，获取权威数据有权机关数据数据仓库涵盖所有银行、证券等金融企业所有上市公司、发债企业其他企业企业数据集成自企业数据的业务逻辑，进行行业整合与分析，为各类企业定位提供支持行业数据涵盖基本背景信息、舆情风险、监管诉讼等各类外部公开数据外部数据全国；32个省、市、自治区、直辖市；400+地级市；2000+县1000+指标宏观数据客户可根据自身业务需求，订阅评级、预警、指数等资讯服务，德勤将第一时间为客户推送相关讯息数据订阅数据服务在项目实施过程中和后续服务期内，以定期推送的方式为客户提供相关数据项目+数据根据客户需求，为其量身定制成套数据模板，进行定期更新推送数据个性定制客户可通过实时/批量数据接口接入德勤风险数据平台进行数据查询与获取数据接口数据维度11+类金融行业14类非金融行业25+行业包含企业基本信息与历史沿革(企业年限、股权结构与变更等)、经营模式(技术优势、主营业务等)、上下游企业(稳定性、集中度等)等定性指标120+定性指标涵盖规模类、杠杆比率、流动性、盈利能力、运营能力、成长性等6大类270+定量指标270+定量指标通过对原始数据进行清洗整合，根据不同的维度体系建立不同的数据仓库。以企业数据为例，主要数据维度如下：1.风险管理中的数据治理6企业数据1.风险管理中的数据治理德勤GDC应用展示71.风险管理中的数据治理自营资管柜台期货完整性情况完整性规范性及时性唯一性一致性准确性数据质量问题各维度0%20%40%60%80%100%0100200300400客户产品协议事件财务资产公用信息平均通过率规则数量本月各主题通过率产品规则数量：61柜台十万条数据中存在941条空值，其余全为数字0。分段结束阶段为空时，分段开始阶段同样为空，但是分段结束日期不为空柜台十万条数据中存在941条空值，其余全为数字0。分段结束阶段为空时，分段开始阶段同样为空，但是分段结束日期不为空CRM十万条数据中存在61779条数据为空，且在代理人标识不为空的情况下，仍有61540条数据为空CRM十万条数据中存在236条数据为空，该列为空时代理人证件类型、代理人姓名存在不为空的情况柜台51918条数据中存在7102条数据为空，且在登记人不为空的情况下存在6881条数据为空的情况柜台十万条数据中存在2382条数据为空，由于存在基准利率非空但是基准利率类型为空的情况，可认为基准利率类型填写不完善柜台十万条数据中存在99990条数据为空，保证金金额不为空的情况下，仍然有账号为空柜台十万条数据中存在17962条数据为空，涉及第三方1不为空时存在本字段为空的情况自营十万条数据中存在18291条数据为空，涉及第三方2不为空时存在本字段为空的情况自营十万条数据中存在99996条数据为空，涉及第三方3不为空时存在本字段为空的情况自营十万条数据中存在93998条数据为空，存在还款账号非空但是还款账户名为空的现象自营十万条数据中存在94026条数据为空，存在还款账户名非空但是还款账号为空的现象资管十万条数据中存在61779条数据为空，存在代理人证件标识不为空，但是代理人姓名为空的现象资管十万条数据中存在61896条数据为空，存在代理人姓名不为空，但是证件号为空的现象期货346数据中存在337条数据为空，存在联系人不为空，但是证件号码为空的情况期货十万条数据中存在97934条数据为空，存在姓名为空但是电话号码不为空的现象数据质量问题严重制约数据价值发挥81.风险管理中的数据治理数据问题解决方式原因数据对接人员缺乏各项目团队各自为战，重复工作时效性差数据未能在第一时间及时更新样本缺失使用过程中发现缺乏一些关键样本数据值缺失一条记录里可能含有缺失值数据文件损坏保存或处理方式不当，导致数据文件损坏数据文件遗失电脑系统崩溃、遗失、操作不当等，导致文件遗失数据重复相同或者部分相同的记录出现多条数据异常数据错误数据没有严格按照规范输入，导致错误数据差异定性数据的录入存在主观性差异数据无效数据完整、但因格式等问题不可用数据口径不统一数据统计口径存在差异，如财务数据，万元/元等单位不一数据处理技术落后传统工具无法处理…………组建数据团队•创建了重庆GDC数据中心，组建了截至目前数十人的专的数据团队建立健全的数据机制•以爬虫+API的建立监测机制实时监测数据动态•建立完善的数据流引擎进行数据清洗、数据校检、异常值处理•建立标准的数据库并以及数据备份机制•……规范数据标准•根据业务需求和规范，建立标准的指标体系•规范数据命名、类型、质量标准•搭建数据补录平台，规范数据录入流程及标准•……技术革新•结合R、SAS、Spark等专业数据处理软件•引进数据挖掘与机器学习算法•云服务器、分布式、并行等大数据解决方案•……•没有专业的数据工作人员及团队•没有健全的数据样本和数据监测机制•缺乏异常值处理机制•没有完善的处理机制、备份机制•数据清洗机制不健全•没有严谨的数据校检机制•人工数据录入错误•数据录入不规范•没有建立标准的指标体系•缺乏专业技术应对大数据时代的海量数据GDC建设过程中曾遇到的各类数据问题91.风险管理中的数据治理人员、组织与架构标准、制度与规范•过去各业务团队独立收取所需数据，易出现重复收集以及资源不足的情况•过去各业务团队自行收取数据导致数据标准不统一，数据处理整合难度大•通过建立GDC大数据中心对数据进行统一收集，再供数给各业务团队，实现共享化与专业化•通过建立GDC大数据中心，建立统一的各类数据标准与规范，提升数据管理效率宏观数据行业数据企业数据…业务团队A业务团队B业务团队C宏观数据行业数据企业数据…业务团队A业务团队B业务团队CGDC数据治理案例101.风险管理中的数据治理流程、活动与机制技术、平台与工具•根据项目需求清单整理相关报告，进而进行数据补录•采用人工的方式对数据情况进行搜索、下载和分析，耗时耗力•GDC大数据中心集中进行数据自动化补录，通过数据补录平台，建立了完整的样本及数据监测机制、数据补录触发机制、数据清洗机制、数据校检机制，流程简洁高效•通过数据补录平台，实现数据的自动化监测、获取、存储以及初步分析数据治理案例11数据治理是成功的企业数据管理中不可或缺的重要组成数据治理•基于生命周期的数据管理•数据人员、组织与架构•数据流程、活动与机制•数据标准、制度与规范•数据技术、平台与工具数据模型与分析模型•描述性分析•360度企业全景视图•商业智能应用程序•管理仪表盘，报告•如：客户洞察，客户统一视图数据应用•基于可靠的信息行动决策•决策流程优化•预测与前瞻性分析•如：以客户为中心的产品研发，营销战略策略与执行，服新务开发等.大数据基础架构•数据概要•数据清洗•数据整合•明确数据治理职责分工，明确不同部门在数据生命周期各个阶段的具体职责•建立数据治理的规则制度及流程，详细指导数据治理工作的开展•建立数据标准，建立统一的数据规范，统一的指标计算规则与逻辑•建立数据质量管理端到端的闭环管理机制，做到事前防范，事中控制，事后治理相结合，提升数据质量，提升数据应用的可靠性•结合内外部数据，力求发挥最大数据价值数据应用数据模型与分析模型数据治理大数据基础架构具体做法企业数据管理的4个组成部分1.风险管理中的数据治理02PART2证券行业数据治理规划与推进132.证券行业数据治理工作实践•以证券公司发展战略为导向•围绕证券公司数据的生命周期•从数据管理和服务的整体角度出发•描述券商数据各项功能和活动证券行业数据治理工作框架要求、指导数据应用管理数据管控数据组织与职责企业数据管理企业数据架构管理主数据管理元数据管理数据标准管理数据质量管理数据安全管理数据生命周期管理技术支撑数据战略与规划数据应用与数据服务规划与需求管理数据基础平台建设发展战略目标保障举措实现支撑促进数据制度与流程142.证券行业数据治理工作实践各领域工作内容分解企业数据架构•企业数据模型•企业数据分布•企业数据流转•数据架构管理•数据模型管理•数据分布管理数据标准管理•基础类数据标准•分析类数据标准•数据标准管理•标准落地实施•标准管理平台维护•存量数据质量管理•增量数据质量管理•数据质量主动保证•数据质量监控•数据质量清洗•数据质量平台建立元数据管理•业务元数据•技术元数据•操作元数据•元数据获取与应用•元数据管理工具维护主数据管理•主数据技术支撑•主数据规范与规则•专业系统开发•主数据生命周期管理•主数据规则管理•主数据管理工具维护数据质量管理数据生命周期管理•数据分类•数据存储•数据归档•数据销毁•数据备份与恢复•备份存档管理•数据恢复管理•数据认证•数据授权•数据监控•数据审计•数据等级管理•数据安全监控•数据安全事故处理数据安全管理数据管控•数据战略与规划•数据组织与职责•数据制度与流程•数据仓库•ODS•数据集市•ETL数据应用与数据服务•信息服务•数据需求管理•信息服务体系规划•指标管理•大数据应用规划规划与需求管理数据基础平台建设DAM数据应用管理DG数据管控EDM企业数据管理•管理报表•仪表盘•BI专项应用•监管报表•技术支撑152.证券行业数据治理工作实践德勤在广发证券数据治理项目中的工作内容产品主数据落地基本制度现状分析及成熟度评估制定基础数据标准基础数据模型优化元数据管理实施方案数据质量提升数据治理工作实施数据治理制度建设规划数据治理组织架构制定数据治理规划方案制定数据治理制度流程数据治理制度专项制度与流程数据标准、数据质量、元数据、数据安全、数据需求16德勤数据治理体系模型成熟度五级模型同业优秀实践支持重点部门访谈问卷调查现有资料文件整理事实依据收集1成熟度评估工作现状关键问题数据需求能力差距2实施路线图设计目标设定任务识别项目优先级排序实施路线图3组织架构、制度流程设计数据管理组织架构数据管理流程、制度4数据治理体系实施评估(回访阶段）5实施成效评估2.1数据治理现状评估与体系规划工作方法与流程172.1数据治理现状评估与体系规划数据治理实施路线图设计通过数据治理工作，促进数据质量的标准化，实现数据的全面管控：阶段目标完善重点领域管理能力，数据质量明显改善，加强数据模型应用，推进数据管理各领域工作全面开展和数据管理能力全面提升，全面提升企业的数据成熟度。大力开展数据治理、主数据、数据标准、数据质量、数据应用等领域相关工作，建立数据管理长效机制，夯实数据基础工作，支撑数据模型的运行。中长期短期182.1数据治理现状评估与体系规划数据治理组织架构设计数据治理委员会数据管理的最高决策机构。数据管理工作小组数据治理工作的统筹协调与议事的组织