数据整理与数据服务保障

数据整理与数据服务保障1.1数据统一接入该部分功能包含元数据管理，数据接入管理，资源管理等。元数据管理，包含业务元数据、技术元数据和操作元管理，它指的是从数据存储到系统，在整个数据的生命周期里，系统对元数据（指管理数据的各种数据）进行管理且持续维护元数信息，目的是保证数据的统一性，能被正确地使用、重用并满足各种规定。数据接入管理，包含本地数据导入，数据接入工具，数据接入监控，数据模板导入。系统为数据接入提供多种导入方式和接入工具，并监控接入情况，做到对数据进行全方位安全管控，提供维护数据源持续更新的机制，保证平台数据与数据前端（如交管视频设备）的数据接入和同步。接入层提供消息处理中间件、数据清洗工具、以及行业上成熟的数据接入系统直接使用。对于在光磁之间进行转换的数据，数据资源管理平台开放数据迁移通知接口，数据在光磁之间转换时，由光磁一体平台向数据资源管理平台发送通知，保证数据平台中的数据一致性。资源管理，包含中间件资源申请和计算资源申请等。系统可为用户提供计算资源申请和中间件资源申请等，由资源管理模块统一进行分配、监控、管理，支持横向扩展，并采用了灵活设计，既可以采用第三方提供的云平台、大数据平台，又考虑到接入其他厂家的资源管理平台，或者公司自研产品。1.2数据服务数据服务包含数据清洗工具，数据视图，数据服务，数据可视化，数据订阅，数据应用服务，数据碰撞，数据级联访问，数据目录树等。系统提供数据清洗、统计、分析工具，用户可以根据业务需要自由组合数据清洗、分析步骤。此外，为了更有效率地使用不同来源的数据，用户自定义的分析步骤可以保存，形成类似数据视图的功能。在使用上，用户应体会不到数据视图和数据源之间的差别。系统还会纳入一些行业通用数据处理方法，形成行业数据视图。数据分析结果，以可视化的形式展现在网页，或者以API形式提供，嵌入到任何网站上，支持的可视化效果包括图3可视化组件1.3数据治理该部分功能包含数据治理，行业数据标准管理，数据质量指标管理等。图1数据治理表1数据质量管理手段质量管理手段方法数据质量指标定义数据质量指标，定期自动对数据质量进行评估完整性（数据是否缺失）规范性（数据是否按照要求的规则存储）一致性（数据的值是否存在信息含义上的冲突）准确性（数据是否错误）唯一性（数据是否是重复的）时效性（数据是否按照时间的要求进行上传）。数据清洗1.平台提供的数据清洗工具2.以计划任务方式在线处理数据3.定期的特定数据处理任务，形成数据视图数据评价使用过数据的用户可以对数据质量作出评价和评分，帮助数据拥有者和其他用户了解数据质量行业标准根据各行业标准，对数据进行规范管理1.4数据生命周期管理该部分研发内容包含数据生命周期管理，数据备份等。系统管理数据全生命周期的流动，包括从创建和初始存储，到它过时被删除。为了防止由于操作失误、系统故障等人为因素或意外原因导致数据丢失，系统对数据进行备份。图2数据生命周期1.5数据安全管理表2数据安全分类措施内容存储安全机房建设硬件采购与机房管理制度防火墙抗网络攻击RAID数据备份存储策略传输安全网络安全网络安全控制https加密传输使用安全开放等级用户受数据开放等级限制数据脱敏敏感字段在线加密安全编程编程过程中遵守安全编程规范