烟草行业数据中心项目介绍

-1--2-目录一、项目概述一、项目总体介绍二、传输环境建设三、数据环境建设四、三流数据关联-3-（一）建设目标基础数据资源管理信息资源标准体系信息分类与编码数据元素标准建立数据模型存储设备服务器设备网络设备通讯设备计算机设备供电电源建筑结构机房环境安全管理机房选址信息资源服务业务主题分析业务统计数据集成决策支持ABCA类侧重于信息资源规划（IRP）和信息资源应用（IPA）→EDCB类侧重于硬件基础设施（IDC）C类包括A、B类-4-3.数据环境（二）建设主要内容1.标准体系主数据标准数据元标准信息分类与编码标准2.传输环境ETL组件数据下行组件动态数据采集组件存储加工行业三级ODS地市级ODS省级前置ODS国家局缓冲ODS国家局数据仓库ODSDWDM主数据元数据数据传输标准传输组件数据加工存储组件数据应用综合关联应用展现本级数据服务数据下行共享订单分析展现条码查询移动展现应用对标创优指标数据大屏展现应用基础数据管理-5-DW（三）总体架构国家局MQHTTPWSC:D传输组件格式转换加工转换前置ODS前置ETL传输接入采集工具前置环境行业应用省级数据中心MQHTTPWS传输组件格式转换加工转换前置ODS前置ETL传输接入采集工具前置环境行业应用业务系统MQHTTPWSC:D传输组件格式转换加工转换前置ODS前置ETL传输接入采集工具传输管理省级地市级CDSODS国家局本级系统DM数据应用标准体系数据集结增量抽取规范数据清洗数据范式建模维度建模数据汇总数据整合ETL加工指标体系主数据主数据数据元指标体系主数据管理元数据管理统计并轨宏观调控专卖内管财务……数据元标准主数据标准信息分类与编码标准数据传输通道标准数据下行数据共享数据展现标准体系传输环境数据环境业务系统-6-（四）与行业信息化规划的关系业务划分-7-（五）与省级数据中心的关系行业数据传输通道前置ODS国家局数据中心前置ODS省级数据中心按照国家局标准下行数据按照国家局标准上行数据-8-（六）项目进展2014年12月发布传输标准和数据元标准2015年3月完成两烟生产经营数据模型设计2015年4月完成传输环境行业试点和移动应用开发2015年7月完成通道推广实施，完成移动和大屏应用的开发2015年12月完成项目整体内容建设行业数据中心项目进展情况合理规划，稳步推进2014年4月完成项目的需求分析及方案设计2013年7月完成项目招标2014年6月完成传输环境行业专家论证和对标创优系统上线•完成总体架构概要设计•完成传输环境和数据环境详细设计•形成信息资源规划方法论和模版•完成行业主题域模型设计•完成三流数据关联技术方案设计-9-（六）项目进展传输标准数据元标准信息分类与编码标准主数据标准标准建设-10-（六）项目进展传输标准数据元标准信息分类与编码标准主数据标准标准建设-11-（六）项目进展传输标准数据元标准信息分类与编码标准主数据标准标准建设-12-（六）项目进展系统设计、开发行业单位试点第三方测试推广实施运行保障传输环境-13-（六）项目进展系统设计、开发行业单位试点第三方测试推广实施运行保障传输环境-14-（六）项目进展系统设计、开发行业单位试点第三方测试推广实施运行保障传输环境-15-（六）项目进展系统设计、开发行业单位试点第三方测试推广实施运行保障传输环境-16-（六）项目进展需求分析数据建模基础数据管理系统对标创优数据采集数据加工：烟叶部分数据应用：大屏、桌面数据环境-17-（六）项目进展需求分析数据建模基础数据管理系统对标创优数据采集数据加工：烟叶部分数据应用：大屏、桌面数据环境-18-（六）项目进展需求分析数据建模基础数据管理系统对标创优数据采集数据加工：烟叶部分数据应用：大屏、桌面数据环境-19-（六）项目进展需求分析数据建模基础数据管理系统对标创优数据采集数据加工：烟叶部分数据应用：大屏、桌面数据环境-20-（六）项目进展需求分析数据建模基础数据管理系统对标创优数据采集数据加工：烟叶部分数据应用：大屏、桌面数据环境-21-（七）项目主要特点通过剥离一号工程传输通道，进行平台化改造，实现传输环境的功能公共化、使用标准化、管理可视化。传输环境平台化通过参考行业内外先进建模经验，结合行业实际，编制形成了一套标准化的建模方法，此方法既满足数据中心分析模型的建设，也能指导业务应用的数据建模。建模方法标准化通过信息资源规划，以最细粒度的业务活动为基础设计行业两烟生产经营稳定的数据模型，实现三流关联。本套数据模型既支持数据的分析决策，也适用于业务系统数据库设计。数据模型通用化通过将数据打散、重组，以配置化的方式对外提供高效的数据共享服务，解决当前系统间网状数据共享的问题。数据资源服务化统一设计移动设备、大屏、PC桌面三屏展现，满足不同场景下的数据展现需求。数据展现多屏化-22-目录一、项目概述一、项目总体介绍二、传输环境建设三、数据环境建设四、三流数据关联-23-（一）设计目标定制路单一数据公共路营销专卖物流高速出口高速入口通道独立配置接入公共开放监控调度沿路原料厂加工厂沿路原料厂对决策管理系统构建的数据传输通道与业务应用进行剥离，建设公共化的传输环境，通过简单配置实现各业务系统的数据按标准传输，达到通用共享、上下贯通、实时监控、统一调度、集中管理的目地，具备公共化、标准化、可复用、可拓展的平台特征。-24-行业传输环境缓冲ODS数据加工数据接入综合管理数据传输（MQ、HTTP、WEB服务、C:D）前置ODS数据加工数据接入综合管理数据传输（MQ、HTTP、WEB服务）数据传输（MQ、HTTP、WEB服务、C:D）地市级ODS数据接入数据传输（MQ、HTTP、WEB服务）综合管理信息资源标准、信息安全及运行保障（二）总体架构界面填报（动态采集）结构化数据（ETL）非结构化数据（标准接口）数据加工界面填报（动态采集）结构化数据（ETL）非结构化数据（标准接口）界面填报（动态采集）结构化数据（ETL）三级部署主要包括数据接入、数据加工、数据传输和综合管理四部分-25-行业传输环境缓冲ODS数据加工数据接入综合管理数据传输（MQ、HTTP、WEB服务、C:D）前置ODS数据加工数据接入综合管理数据传输（MQ、HTTP、WEB服务）数据传输（MQ、HTTP、WEB服务、C:D）地市级ODS数据接入数据传输（MQ、HTTP、WEB服务）综合管理信息资源标准、信息安全及运行保障（二）总体架构界面填报（动态采集）结构化数据（ETL）非结构化数据（标准接口）数据加工界面填报（动态采集）结构化数据（ETL）非结构化数据（标准接口）界面填报（动态采集）结构化数据（ETL）数据接入包括三种方式-26-行业传输环境前置ODS数据加工数据接入综合管理数据传输（MQ、HTTP、WEB服务、C:D）前置ODS数据加工数据接入综合管理数据传输（MQ、HTTP、WEB服务）数据传输（MQ、HTTP、WEB服务、C:D）地市级ODS数据接入数据传输（MQ、HTTP、WEB服务）综合管理信息资源标准、信息安全及运行保障手工填报业务系统（二）总体架构界面填报（动态采集）结构化数据（ETL）非结构化数据（标准接口）数据加工国家局数据仓库业务系统界面填报（动态采集）结构化数据（ETL）非结构化数据（标准接口）界面填报（动态采集）结构化数据（ETL）手工填报省级单位数据中心业务系统手工填报-27-（三）功能设计-结构化数据上行传输结构化数据上行传输是指数据从工商企业到省级单位及从省级单位到国家局的传输过程，数据上行传输包括源节点应用系统与本级前置ODS之间的数据抽取转换装载（ETL）、上下级ODS之间的数据传输、目标节点前置ODS与应用系统之间的数据抽取转换装载（ETL）三个步骤。-28-（三）功能设计-结构化数据下行传输结构化数据下行传输是指数据从国家局至省级单位的传输过程，通过传输环境将国家局数据中心主题分析数据下行至省级单位数据中心。数据下行传输包括国家局数据发布（形成资源目录）、行业单位申请、数据下行至省级前置ODS和数据共享服务四个步骤。-29-通道新增非结构化数据（图片、多媒体、大文件等）传输能力，有三种接入方式，内置三种传输方式，实现上下两级业务系统非结构化数据的双向传输。（三）功能设计-非结构化数据传输-30-（四）功能使用-结构化数据传输源表字段从指标体系选择的指标，与源表字段建立一一对应关系通过建立源表字段与指标体系的对应关系，实现数据结构和数据内容的透明传输。-31-（四）功能使用-结构化数据传输指标梳理•如果现有指标体系不能涵盖需要采集的数据，则需要梳理出指标项，提交信息中心审批，方可纳入指标管理系统中。ETL任务设计•基于指标体系，使用前置ETL组件，配置采集的数据项与标准指标体系的关系，设计ETL任务，并提交审批。ETL任务审批•国家局信息中心对ETL任务进行审批，审批通过之后ETL任务正式生效，可被调度执行。ETL任务执行•前置ETL组件根据调度规则执行通过审批的任务，并自动调用传输组件，完成结构化数据的传输。结构化数据传输功能的使用流程包括指标梳理、ETL任务设计、ETL任务审批和ETL任务执行四个步骤。-32-（四）功能使用-非结构化数据传输二、接入实施。行业单位根据应用系统身份识别码及数据传输类型代码等相关参数，按照标准接口规范开发发送与接收功能。一、接入申请。向国家局信息中心提出接入申请，审批通过后系统自动为申请接入的应用系统分配身份识别码、源应用及目标应用编码和数据传输类型代码。非结构化数据传输功能需经过审批方可使用：-33-（五）推广实施-主要内容1、行业传输环境（行业数据通道）：在前置环境中部署行业传输环境相关软件。2、决策管理系统传输模块升级：升级决策管理系统相关应用的传输模块，切换到新通道进行数据传输。3、行业基础数据管理系统：在前置环境中部署行业基础数据管理系统，包括行业主数据管理和行业数据元管理两大模块，基础数据将存储在前置ODS中。-34-（五）推广实施-部署架构行业传输环境分三级部署，在国家局和省局部署行业数据传输环境和行业基础数据管理两部分内容；在地市公司及生产点只部署行业数据传输环境。-35-（五）推广实施-省级单位部署内容清单网络交换机前置环境应用服务器前置环境传输中间件服务器C:D（5.4）MQ（7.5）ETL组件数据传输组件基础数据管理组件数据加工存储组件操作系统Linux（64位）硬件配置共享存储决策系统应用服务器决策系统数据库服务器动态数据采集组件前置ODS操作系统硬件配置Linux（64位）CPU：4核内存：12GCPU：大于4核内存：大于12G磁盘空间：150G磁盘空间：150GTomcat7.0综合管理平台基础数据数据库通道配置数据库-36-（五）推广实施-地市级单位部署内容清单网络交换机前置环境应用服务器前置环境传输中间件服务器MQ（7.5）ETL组件数据传输组件数据加工存储组件操作系统Linux（64位）硬件配置共享存储决策系统应用服务器决策系统数据库服务器动态数据采集组件前置ODS操作系统硬件配置Linux（64位）CPU：4核内存：12GCPU：大于4核内存：大于12G磁盘空间：150G磁盘空间：150GTomcat7.0通道配置数据库-37-现有系统升级后通道升级前决策管理系统业务处理逻辑与传输通道紧耦合。（五）推广实施-决策管理系统传输升级省级地市级国家局ResourceOne传输应用MQ6.1ResourceOne传输应用MQ6.1/5.3ResourceOne传输应用MQ5.3行业应用决策管理统计应用数字化仓储其他行业应用决策管理统计应用数字化仓储其他行业应用决策管理统计应用数字化仓储其他-38-升级后，通道与决策管理系统剥离、独立运行，数据传输将切换到新通道，原有通道作为新通道的备用通道并行运行一年。（五）推广实施-决策管理系统传输升级现有系统升级后通道