电子政务领域的大数据解决思路-v12-胡书能

解决思路行业实践总结1问题分析电子政务领域的大数据解决思路演讲人：胡书能2015年4月解决思路行业实践总结2问题分析问题分析解决思路行业实践总结1234ContentsPage目录页解决思路行业实践总结3问题分析问题分析解决思路行业实践总结1234ContentsPage目录页解决思路行业实践总结4问题分析问题分析信息资源共享难缺乏统一数据标准信息孤岛现象严重面临的问题分析利用程度低信息共享难度大数据安全缺乏保障缺乏统一资源目录解决思路行业实践总结5问题分析问题分析电子政务建设的问题4项目建设运维成本高电子政务1缺少总体顶层规划2条块分割纵强横弱3IT资源利用率低标准不一、重复建设、粗放式建设12各自为政、信息共享难、业务协同更难3基础设施利用率低、数据价值没有发挥4投资成本高、缺乏专业运维团队、运维成本高、时间成本高（部署、开发）。解决思路行业实践总结6问题分析问题分析电子政务的大数据建设目标（1）构建政务大数据处理的交换、整合、共享、分析与服务的软件平台（2）建立覆盖政务数据定义、存储、管理、共享、分析与服务的标准体系（3）不断整合各类基础设施资源、数据资源，支撑大数据业务的持续发展解决思路行业实践总结7问题分析问题分析问题分析行业实践总结1234ContentsPage目录页解决思路21解决思路行业实践总结8问题分析解决思路分布式数据中心架构政府公共数据中心…教育行业数据中心卫生行业数据中心交通行业数据中心其他交通监控系统公交调度系统机动车/驾驶员管理系统…停车引导系统摄像头GPSETC传感器……解决思路行业实践总结9问题分析解决思路逻辑库与物理库卫生公安教育……远程物理库缓冲库基础库本地物理库分级缓存内存闪存硬盘分布式查询引擎逻辑库分布式资源索引资源调度远程资源调度本地资源调度资源定位资源检索解决思路行业实践总结10问题分析解决思路以数据流为主线，实现从数据采集、数据管理、数据服务到数据应用4个阶段的全过程管理Web直报大数据生命周期数据库数据文件数据接口非结构化数据异构数据源质量控制标准化规整汇集转换清洗元数据库结构化数据库分布式文件库数据仓库数据比对分析服务报表服务查询服务资源目录信息共享数据展现决策支持……抽取报送分类存储数据接口服务提供数据采集数据管理数据服务数据应用解决思路行业实践总结11问题分析解决思路相关技术数据分散不规范问题数据一致性问题数据涉密不能落地问题数据标准不一致数据质量问题数据安全性问题数据深入分析不够数据可视化程度低结构化大数据存储非结构化数据存储解决思路行业实践总结12问题分析解决思路“三张皮”变“一张皮”三类数据资源业务应用1业务应用2业务应用N资源共享应用1资源共享应用2资源共享应用N数据分析应用1数据分析应用2数据分析应用N业务库OLTP共享库主题库OLAP数据整合共享数据数据建模大数据平台解决思路行业实践总结13问题分析解决思路政务大数据应用架构安全防护体系标准规范体系基础设施服务器存储网络资源整合、虚拟化管理、按需分配发改委财政……建委应用支撑领导驾驶舱KPI仪表盘即席查询业务报告图表展现监测警报Office集成工作流引擎ESBSOA资源共享、业务协同、决策分析、信息门户、……应用平台采集、整合、服务、监管数据集市主题域数据库ODS社管交通环保卫生教育……建交委公安局规划局卫生局教育局……数据中心解决思路行业实践总结14问题分析解决思路实现数据采集、交换、整合、管理及共享等全生命周期管理，能实现数据的集中及分布式存储，为政府大数据项目提供基础支撑和保障达梦大数据平台解决思路行业实践总结15问题分析解决思路大型通用关系型云数据库安全自主DM7联机分析处理（列存库）联机事务处理（兼容oracle）大数据处理（MPP数据库）安全保护统一接口ODBCJDBCPL/SQLOCIADOPDO达梦大数据平台——数据存储类（DM7）列存表DMMPP智能索引并行加载解决思路行业实践总结16问题分析解决思路达梦大数据平台——数据存储类（MGBase）MasterMasterMaster数据服务器数据服务器列实例列实例列实例数据服务器面向列的分布式NoSQL型数据库构建于分布式文件系统之上适用于半结构化和非结构化海量数据存储解决思路行业实践总结17问题分析解决思路达梦大数据平台——异构分布式查询TXT、EXCEL、XML和WebService等其他数据源关系型数据库综合查询系统资源目录系统缓存管理中心节点安全管理全局数据字典管理分布式查询处理会话管理数据访问代理本地分级缓存内存闪存硬盘非关系型数据库数据访问代理业务节点各类数据源数据访问代理业务节点各类数据源数据访问代理前置节点各类数据源数据访问代理分数据中心节点各类数据源数据访问代理业务节点各类数据源数据访问代理前置节点各类数据源采用一致接口访问本地、远程数据源支持多级代理，适应复杂网络部署支持关系数据库、数据文件、数据接口、NoSql数据库解决思路行业实践总结18问题分析解决思路前置交换库前置交换库前置交换库前置交换库前置交换库业务信息库达梦数据交换系统数据中心业务信息库业务信息库业务信息库业务信息库……交换管理支持异构数据源采集OracleSqlServerDMdbmsDB2MySqlSybaseExcel文件其它文件……支持多级单位间的数据交换解决不同单位、不同系统之间的数据采集、数据交换等要求。发改委建委财政局规划局审计局达梦大数据平台——数据交换类（DMETL）解决思路行业实践总结19问题分析解决思路1.数据备份2.OLAP\OLTP分离3.实时同步4.灾备达梦数据同步软件(DMHS)是支持异构环境的高性能、高可靠、高可扩展数据库实时同步复制系统。对源系统的资源消耗低，数据同步速度快，支持故障恢复后断点续传。达梦大数据平台——数据交换类（DMHS）解决思路行业实践总结20问题分析解决思路达梦大数据平台——数据交换类（请求服务引擎）分布式请求服务引擎穿透内外网请求转发远程服务代理中心/分中心一体化服务…分布式请求服务引擎解决数据不能落地的远程数据访问问题。请求响应列表请求响应协调器请求响应服务器请求监听列表数据查询器请求转发器比对请求交换请求查询请求任务池内网外网外网请求服务数据库内网请求服务数据库数据交换平台解决思路行业实践总结21问题分析解决思路达梦大数据平台——数据管理类（元数据管理）数据标准元数据仓库自动获取关系维护版本管理导入/导出元数据应用元数据数据来源数据仓库设计业务分析数据转换工具业务视图数据仓库业务主题统一数据标准，全过程元数据记录，……解决思路行业实践总结22问题分析解决思路利用ETL工具异构数据源支持图形化设计器丰富的清洗转换组件基于插件模式扩展…实现数据的清洗、转换、规整、治理、标准化等达梦大数据平台——数据管理类（数据整合）解决思路行业实践总结23问题分析解决思路数据管理数据维护数据权限数据发布备份/恢复导入导出…基于元数据，通过快速配置实现对数据的基本管理、访问权限控制与发布等功能达梦大数据平台——数据管理类（数据资源管理）解决思路行业实践总结24问题分析解决思路达梦大数据平台——数据管理类（资源目录）收集整理所有相关系统、相关数据、相关服务等资源信息方便用户寻找有用的信息解决思路行业实践总结25问题分析解决思路达梦大数据平台——数据管理类（数据质量管理）数据源1数据源n…………数据仓库数据共享库ETL完整性校验准确性性校验质量监控质量报告质量治理质量规则监控数据探测服务数据质量管理包括：质量标准定义质量规则设置问题数据采集问题数据管理问题数据分析数据治理实现数据质量监控、报告及治理……解决思路行业实践总结26问题分析解决思路网络服务池服务注册中心服务总线(ESB)服务调度器其它系统用户…………异质异构服务集成；分布式服务集成。简化服务的提供和使用！达梦大数据平台——数据管理类（服务管理平台）解决思路行业实践总结27问题分析解决思路达梦大数据平台——数据仓库建模工具1.用于数据仓库建模2.辅助数据仓库实施人员完成从数据仓库概念设计到最终物理实现全程解决思路行业实践总结28问题分析解决思路达梦大数据平台——OLAP分析1.支持ROLAP、MOLAP、HOLAP2.支持星型模型、雪花模型3.标准化MDX语言4.二次开发：►支持OLAP访问接口►支持XMLA协议►图形化查询工具解决思路行业实践总结29问题分析解决思路达梦大数据平台——数据挖掘工具►数据源类型丰富►文件►关系数据►URL►多种挖掘分析算法►Apriori►BFTree►FarthestFirst►多种挖掘分析方式►分类与回归分析►聚类分析►管理分析►序列分析►可视化挖掘►应用系统可集成解决思路行业实践总结30问题分析解决思路达梦大数据平台——BI工具►提供丰富的展现形式►网络报表►分组报表►多维行列统计►卡片报表►线图►面积图►……►提供应用集成接口解决思路行业实践总结31问题分析解决思路达梦大数据平台——数据门户解决思路行业实践总结32问题分析解决思路达梦大数据平台——一张图呈现基于地理信息、移动终端等多种方式呈现解决思路行业实践总结33问题分析问题分析解决思路解决思路总结1234ContentsPage目录页41行业实践34解决思路行业实践总结34问题分析行业实践行业实践——公安行业公安的数据来源？公安数据的特点？容量大结构多样化不断增长价值密度低物理分散视频监控卡口旅店网吧PGIS通信记录……解决思路行业实践总结35问题分析行业实践行业实践——公安行业异构OLTP、OLAP一体化，应用层透明切换OracleRACDMHSEP01EP02EP03EP04DMMPP数据量：1.6T（不含大对象）数据库并发连接：200-300个对比项警务平台生产库(oraclerac)平均响应时间警务平台分析库(dmmpp)平均响应时间人口统计100秒16秒接处警统计130秒13秒治安盘查统计110秒15秒治安管理统计120秒17秒案件查询统计140秒16秒主机类型节点数CPURAMDM-MPP4XeonE5-26202.00GHZ*4192GOracleRAC2XeonE5-26802.70GHZ*4256G解决思路行业实践总结36问题分析行业实践行业实践——公安行业Xxx省公安厅最大单表：24.1亿行数据存储方式：MPP，哈希分布精确查询时间：1秒DMMPPXxx大数据量性能支撑解决思路行业实践总结37问题分析行业实践融合省厅、市局、外部数据资源，基于分布式查询，为领导、业务部门、外部用户提供透明的数据即服务。...分布式查询引擎内网数据服务平台外网请求服务引擎外网数据服务平台综合基础资源库内网共享资源库外网共享资源库数据仓库人口主题案件主题……公安内网服务区公安前置服务区公安边界安全接入平台内网请求服务引擎xxx市公安请求服务引擎综合基础资源库xxx市公安请求服务引擎综合基础资源库……Xxx省公安云数据即服务第三方系统警综系统大情报系统010010110111010101010101010010101110010101010101010010110111010101010101010010101110010101010101010010110111010101010101010010101110010101010101…………行业实践——公安行业解决思路行业实践总结38问题分析行业实践行业实践——公安行业建成全省统一标准的数据资源目录125个数据元标准和1358个数据项被公安部采纳推广370个数据元标准12万个数据项该省被确定为全国四个资源服务试点单位之一数据资源解决思路行业实践总结39问题分析行业实践固化经验，服务实战行业实践——公安行业基于大数据的动态专题模型库业务需求技战法100余种模块化开发应用理念业务模型业务需求业务模型算法公式固定提取方法各类技战法变成模型保留在云中全警随时可以调用提升了核心战斗力口袋、脑袋中的经验放在云上共享解决思路行