基于大数据的数据治理

1基于大数据的数据治理建设方案2目录一数据管理的现状..................................................................................3二数据治理的概述..................................................................................4（一）数据治理概念........................................................................................4（二）数据治理目标........................................................................................4三数据治理体系.....................................................................................5四数据治理核心领域...............................................................................5（一）数据模型..............................................................................................6（二）数据生命周期........................................................................................6（三）数据标准..............................................................................................8（四）主数据..................................................................................................9（五）数据质量............................................................................................10（六）数据服务............................................................................................12（七）数据安全............................................................................................12五数据治理保障机制.............................................................................13（一）制度章程............................................................................................13(1)规章制度............................................................................................13(2)管控办法............................................................................................13(3)考核机制............................................................................................13（二）数据治理组织......................................................................................15(1)组织架构............................................................................................15(2)组织层次............................................................................................16(3)组织职责............................................................................................17（三）流程管理............................................................................................19（四）IT技术应用.........................................................................................19(1)支撑平台............................................................................................19(2)技术规范............................................................................................22附件A数据管理规范............................................................................23附件B数据质量评估办法.......................................................................38附件C数据质量管理流程.......................................................................423关于数据治理的理解数据管理的现状根据行业信息化发展的现状，结合当今行业数据治理的要求，大型集团或政务管理部门现阶段数据管理方面存在以下的不足：（1）数据多头管理，缺少专门对数据管理进行监督和控制的组织。信息系统的建设和管理职能分散在各部门，致使数据管理的职责分散，权责不明确。组织机构各部门关注数据的角度不一样，缺少一个组织从全局的视角对数据进行管理，导致无法建立统一的数据管理规程、标准等，相应的数据管理监督措施无法得到落实。组织机构的数据考核体系也尚未建立，无法保障数据管理标准和规程的有效执行。（2）多系统分散建设，没有规范统一的省级数据标准和数据模型。组织机构为应对迅速变化的市场和社会需求，逐步建立了各自的信息系统，各部门站在各自的立场生产、使用和管理数据，使得数据分散在不同的部门和信息系统中，缺乏统一的数据规划、可信的数据来源和数据标准，导致数据不规范、不一致、冗余、无法共享等问题出现，组织机构各部门对数据的理解难以应用一致的语言来描述，导致理解不一致。（3）缺少统一的主数据，组织机构核心系统间的人员等主要信息并不是存储在一个独立的系统中，或者不是通过统一的业务管理流程在系统间维护。缺乏对集团公司或政务单位主数据的管理，就无法保障主数据在整个业务范围内保持一致、完整和可控，导致4业务数据正确性无法得到保障。（4）缺乏统一的集团型数据质量管理流程体系。当前现状中数据质量管理主要由各组织部门分头进行；跨局跨部门的数据质量沟通机制不完善；缺乏清晰的跨局跨部门的数据质量管控规范与标准，数据分析随机性强，存在业务需求不清的现象，影响数据质量；数据的自动采集尚未全面实现，处理过程存在人为干预问题，很多部门存在数据质量管理人员不足、知识与经验不够、监管方式不全面等问题；缺乏完善的数据质量管控流程和系统支撑能力。（5）数据全生命周期管理不完整。目前，大型集团或政务单位，数据的产生、使用、维护、备份到过时被销毁的数据生命周期管理规范和流程还不完善，不能确定过期和无效数据的识别条件，且非结构化数据未纳入数据生命周期的管理范畴；无信息化工具支撑数据生命周期状态的查询，未有效利用元数据管理。数据治理的概述2.1数据治理概念数据治理是指将数据作为组织资产而展开的一系列的具体化工作,是对数据的全生命周期管理。数据治理体系是指从组织架构、管理制度、操作规范、IT应用技术、绩效考核支持等多个维度对组织的数据模型、数据架构、数据质量、数据安全、数据生命周期等各方面进行全面的梳理、建设以及持续改进的体系。2.2数据治理目标数据治理的目标是提高数据的质量（准确性和完整性），保证数5据的安全性（保密性、完整性及可用性），实现数据资源在各组织机构部门的共享；推进信息资源的整合、对接和共享，从而提升集团公司或政务单位信息化水平，充分发挥信息化作用。数据治理体系数据治理体系包含两个方面，一是数据质量核心领域，二是数据质量保障机制。具体两者内容及相互关系可以参见下图：数据治理核心领域为了有效管理信息资源，必须构集团级数据治理体系。数据治理体系包含数据治理组织、数据构架管理、主数据管理、数据质量管理、数据服务管理及数据安全管理内容，这些内容既有机结合，6又相互支撑。4.1数据模型数据模型是数据构架中重要一部分，包括概念数据模型和逻辑数据模型，是数据治理的关键、重点。理想的数据模型应该具有非冗余、稳定、一致、易用等特征。逻辑数据模型能涵盖整个集团的业务范围，以一种清晰的表达方式记录跟踪集团单位的重要数据元素及其变动，并利用它们之间各种可能的限制条件和关系来表达重要的业务规则。数据模型必须在设计过程中保持统一的业务定义。为了满足将来不同的应用分析需要，逻辑数据模型的设计应该能够支持最小粒度的详细数据的存储，以支持各种可能的分析查询。同时保障逻辑数据模型能够最大程度上减少冗余，并保障结构具有足够的灵活性和扩展性4.2数据生命周期一般包括数据生成及传输、数据存储、数据处理及应用、数据销毁四个方面。（1）数据生成及传输数据应该能够按照数据质量标准和发展需要产生，应采取措施保证数据的准确性和完整性，业务系统上线前应该进行必要的安全测试，以保证上述措施的有效性。对于手工流程中产生的数据在相关制度中明确要求，并通过事中复核、事后检查等手段保证其准确性和完整性。数据传输过程中需要考虑保密性和完整性的问题，对不同种类的数据分别采取不同的措施防止数据泄漏或数据被篡改。7（2）数据存储这个阶段除了关注保密性、完整性之外，更要关心数据的可用性，对于大部分数据应采取分级存储的方式，不仅存储在本地磁盘上，还应该在磁带上，甚至远程复制到磁盘阵列中，或者采用光盘库进行存储。对于存储备份的数据要定期进行测试，确保其可访问其数据完整。数据的备份恢复策略应该由数据的责任部门或责任人负责制定，信息化管理部门可以给予相应的支持。同时还需要注意因为部门需要或故障处理的需要，可能对数据进行修改，必须在数据管理办法中明确数据修改的申请审批流程，审慎对待后台数据修改。（3）数据处理和应用信息化相关部门需要对数据进行分析处理，以挖掘出对于管理及业务开展有价值的信息，为保证过程中数据的安全性，一般应采用联机处理，系统只输出分析处理的结果。但是