厅局级大数据部门间共享业务

1公司介绍1厅局级数据情况2厅局大数据共享建设介绍3目录大数据建设过程介绍4科技厅大数据共享案例介绍53公司介绍PRODUCTVALUE公司介绍公司专注于行业大数据等信息化产品的咨询、设计、研发和集成等服务。公司立足西北，在北京、广州等地设有专家咨询团队，拥有一流的自主研发团队和自主知识产权产品。与西安邮电大学自然语言实验室在技术研发、智慧政务/大数据等业务领域展开深度合作。与中山大学合作公司提供大数据全流程产品和综合解决方案。一窗研究院合作联盟中山大学……..广州讯麒智能科技西安晓多智能科技邮电大学自然语言实验室合作伙伴公司资质SCIENCEANDTECHNOLOGYQUALIFICATION多项软件著作权质量管理认证证书双软认证影响与荣誉SCIENCEANDTECHNOLOGYQUALIFICATION娄勤俭书记、胡和平书记、吴政隆省长带领江苏常委一行，来科技厅观摩陕西科技大数据平台省政协领导观摩陕西科技大数据平台影响与荣誉SCIENCEANDTECHNOLOGYQUALIFICATION我司有幸组织并参与2017年互联网+政务服务论坛，刘允强主任与傅会长及周处长与会讨论并提出互联网+政务服务的重要发展方向产品体系SCIENCEANDTECHNOLOGYQUALIFICATION政务服务大数据大数据关系分析大数据推荐引擎大数据管理系统大数据处理工具大数据交换共享大数据基础支撑网上办事大厅（网站、APP、微信）自助服务终端系统排队叫号评价系统政务服务事项管理系统统一综合受理系统行政审批系统电子监察系统政务大数据分析系统业务系统大型仪器共享系统检验检测服务平台科技创新券管理系统项目管理系统科技114专家咨询服务系统成果交易服务系统互联网政府智慧门户政务微信门户站群管理系统网站可视化设计工具网站内容管理系统智能推荐系统9厅局级数据情况PRODUCTFEATURES背景SCIENCEANDTECHNOLOGYQUALIFICATION《十三五规划纲要》提出实施国家大数据战略，把大数据作为基础性战略资源，全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用；2016年3月18日2016年8月陕西省政府《关于运用大数据加强对市场主体服务和监管的若干意见》提高政府运用大数据能力；推动简政放权和政府职能转变；提高政府服务水平和监管效率，降低服务和监管成本；2015年9月5日国务院2015年7月1日国务院《促进大数据发展行动纲要》大力推动政府信息系统和公共数据互联开放共享，加快政府信息平台整合；以企业为主体，加大大数据关键技术研发，着力推进数据汇集和发掘，深化大数据在各行业创新应用；大数据成为国家战略陕西省大数据与云计算产业五年行动计划工信部、发改委现状SCIENCEANDTECHNOLOGYQUALIFICATION各类信息资源分类、数据标准等不统一；厅局各处室或二级单位，以各自独立的业务为主线建立了众多业务系统；系统众多、资源分散，无法有效共享和检索，不知道该如何发挥其整体效益厅局档案系统与办公系统、审批系统之间无法互联互通业务系统与厅局部门网站没有有效对接；跨部门协同信息资源缺乏统一规划和顶层设计异构系统间缺乏统一数据标准和交换模式，难以共享根据业务需要，无法进行快速、低成本的主题应用搭建难以进行“一体化”的业务办理和基于强大数据支撑的查询、统计、分析应用厅局内部“信息化孤岛”问题突出解决思路SCIENCEANDTECHNOLOGYQUALIFICATION12354决策科学化的牵引借助大数据挖掘分析，可得到相对较为准确的分析，可作为决策的依据提高数据服务精准度借助大数据的分析，可精准向系统、处室提供数据服务数据共享通过建立通过一的大数据平台实现厅局级数据内部加工、处理、共享解决“数据孤岛”借助大数据可整合业务系统数据，打破数据孤岛，避免重复建设，同时可形成统一的数据标准，共享标准，保证后续系统建设的有章可循业务透明化的数据支撑借助大数据采集，可得到各处室的数据，可作为支撑业务、系统的数据依据大数据解决内部信息孤岛实现内部共享和深度挖掘实现“一体化”业务办理和服务展示提升处室业务协同水平和厅局整体工作效率13厅局大数据共享建设介绍BIGDATAPRODUCTS厅局级大数据共享架构14可视化系统运维分析决策人员数据服务数据采集数据抽取工具系统运维规范与流程调度与监控配置与变更体制与机制数据管理数据治理数据标准元数据数据质量数据安全非结构化数据分布式存储集群灾备与恢复统一规划与运营数据资产管理规划数据中心整体架构实施路线图规划数据交易基础设施主机存储通信网络虚拟化操作系统数据库信息源数据交换结构化数据仓库资源主题库数据资源数据共享数据交换数据分发数据分析数据应用引擎管理驾驶舱查询/检索统计分析数据挖掘预警告警大数据分析安全与审计开发人员运维人员门户业务系统公共服务应用层数据层网络层业务处理流程15数据交换数据抽取厅局级大数据聚合重组转换关联安全提供服务数据访问，数据质量，数据标准业务查询决策支持信息共享统计分析门户展现全局分析清洗和过滤认证方案安全，授权以及规则主数据信息交互提供综合信息服务业务系统行政审批厅局网站OA系统数据产品架构16大数据管理大数据资源库系统数据治理系统数据服务系统…..大数据采集大数据交换系统大数据结构化数据采集系统自然语言处理引擎大数据数据应用产品大数据可视化分析大数据关系分析应用…..数据产品特点17共享可随时向框架内接入的其他业务系统供给数据更新框架内可实现数据滚动更新，无需干预框架内可随时加入新的外部业务系统，无需调整框架标准框架内统一提供数据标准，保证框架内数据标准统一大数据产品18以大数据技术（Hadoop、Spark）为底层架构，集合大数据全部技术模块，提供大数据运行环境。提供存储、计算、调度、监控等核心组件。保证数据的安全性和稳定性，同时实时计算业务应用调优，为大规模数据的管理和计算而生。包含非结构化数据采集与数据交换。结合语义分析引擎可实现对数据的语义处理，实体抽取等操作。并能够实现数据的治理将采集后的数据实现数据加工、处理、服务，并建立数据间联系。提供数据标准、元数据等数据治理手段。提供数据关联、数据融合等数据加工手段。提供数据服务等数据服务手段实现对抽取数据的自然语义处理，实现实体识别，实体抽取，分词等功能将数据转换成适当的可视化图表，然后将隐藏在数据中的信息直接展现于人们面前，在可视化图表工具的表现形式方面，图表类型表现的更加多样化，丰富化。同时也可通过图谱的方式展现数据间关系，帮助用户实现关系分析大数据处理平台产品19数据可视化数据实时检索数据挖掘数据分析实时检索引擎Hadoop非实时检索引擎数据分析缓存Hadoop分布式持久化存储知识库标签化结构化处理数据清洗过滤引擎内部数据源非结构化数据源弹性爬虫引擎集群APIDMP行业解决方案业务分析平台外部数据源MySQL/Redis/Mongo/Pig，ElasticSearchSpark/HiveKafka/RedisETL/Flume/Sqoop最终交付数据分析&检索数据索引&缓存持久化存储数据标签化数据清洗数据获取基础产品——数据采集20•非结构化数据采集是将不规则或不完整，没有预定义模型的数据进行采集并清洗翻译，。包括所有格式的办公文档、文本、图片、XML,HTML、各类报表、图像和音频/视频信息等等。•结构化数据将采用数据交换产品实现业务系统的对接和数据抽取大数据产品——非结构化数据采集系统21互联网数据支持对互联网网站数据的采集支持对网页标签定义采集支持对网页中特定元素的采集数据接口采用微服务方式提供数据接口，可无缝对接外部业务系统提供具有认证功能，保证数据安全非结构化数据支持对非结构化数据的模板分析支持与自然语言引擎的对接，实现语义、分词、关键词、概述等内容的提取支持实体数据抽取大数据产品——数据交换产品22OracleHBASEMySQLDB2SQLServerInformixSybaseHadoop支持符合ODBC/JDBC接口规范的46种数据库系统支持主流的国内外操作系统Windows系列/Linux系列大数据产品——语义分析引擎23自主知识产权多级，模块化设计FST规则和统计混合模型分布式计算（Hadoop）用户自定义词典，模块XML标准格式输出大数据产品——数据管理平台24大数据存储元数据数据标准自然语言处理数据关联数据融合数据主题库分析共享结构化数据源非结构化数据源数据流数据整合功能数据治理功能数据定义组织体系管理体系数据标准标准定义标准映射标准执行标准维护元数据业务元数据技术元数据元数据维护元数据应用数据质量数据质量指标体系数据质量分析数据质量改进数据安全权限管理统一认证数据防护安全审计数据质量检核数据集中实时数据集中批量数据集中数据集中策略数据整合数据转换清洗数据加工数据整合模型组织架构角色与技能分工与职责制度流程方法数据服务功能数据服务配置数据服务定制数据服务数据目录数据服务管理服务配置服务目录服务审计数据检索数据存储大数据产品——数据分析25大数据产品——数据分析26大数据产品——数据推荐27网站/业务系统数据调用信息爬取推荐数据库大数据平台信息文本数据数据库用户领域自然语义分析挖掘聚类信息行为关注喜好大数据推荐引擎大数据推荐引擎数据加载数据聚类算法配置数据推送大数据建设过程BIGDATABUILDING28大数据建设过程——标准建设29标准范围包含哪些？目前的状况如何？标准应该是什么样？这些内容都在哪儿？标准应该如何执行？如何维护管理标准？数据标准数据质量数据管控数据平台建设数据应用大数据建设——数据质量及管控建设30监控（发现问题）分析（分析问题）修正(解决问题)跟踪(执行监督)•依据数据质量度量标准对其的数据实体和数据处理过程建立有效的监控机制，在第一时间发现数据质量问题，为数据质量问题分析提供原始依据•依据各系统的监控信息，对异常指标进行跟踪，提交相关数据质量问题报告，注重对分析过程中知识的积累•提出相应的解决方案和解决期限，方案和期限经评审通过后将正式进入修正过程•对于每一份数据质量问题报告都会进入问题跟踪库，确保数据质量问题可查、可跟踪及时性、完善性、合法性、准确性、唯一性监控问题分析、数据质量问题报告、知识库积累源系统、数据平台、应用系统•关键：编号、解决期限、责任人数据标准数据质量数据管控数据平台建设数据应用大数据建设——数据平台建设31数据应用-平台搭建-数据调研-数据整合数据管理数据采集-数据主题库-数据加工-数据管理-数据开放-数据可视化分析-数据专题应用技术主导业务参与业务需求技术支持业务主动技术服务业务价值驱动从技术“推”到业务“拉”的转变养育数据、由小而大、分期建设规划勾画骨架；项目填充血肉数据标准数据质量数据管控数据平台建设数据应用科技厅大数据共享案例TECHNOLOGYINDUSTRYSOLUTIONS32科技大数据•陕西省科技管理服务一体化云平台旨在通过大数据技术，建立起一套数据采集整合、应用、共享服务平台，运用大数据创新政府服务理念和服务方式，实现“用数据服务，促进科技创新创业全要素资源和服务交易，打造“创新资源+社会化协作+专业化服务”的科技创新创业服务生态圈33科技大数据34数据鲜活服务持续数据全面精准推送数据定制科技大数据35实现采集全省科技数据2亿余条，建立人才、仪器、成果等多类数据库实现热点、评估、关系图谱、追赶超越等大数据分析，帮助厅领导及时掌握全省科技情况实现对全厅内部业务系统的数据供给以及数据分析科技大数据36谢谢37