烟草行业数据中心基本介绍

中软国际·2008.06数据中心在烟草成熟度增加IT基础建设应用建设应用集成电算化应用信息化管理数字化企业烟草目前所处阶段什么是数据中心？在线联机分析OLAP数据挖掘数据展现数据仓库商业智能系统管理决策电子商务电子政务ERP市场信息……信息系统层数据中心（datacenter简称DC）是商业智能应用在烟草行业发展应用的特定叫法，从商业智能的角度理解数据中心，烟草行业信息化建设发展到一定程度，具有一定的数据积累，并以数据仓库（DataWarehousing）、联机分析处理（OLAP）、数据挖掘（DataMining）等技术为基础，以数据集中、查询、分析、知识发现为手段，采用的一系列方法、技术和软件的总和。数据数据统计、挖掘、智能信息与知识E抽取T转换C清洗L装载数据存放层数据分析层知识分析层战略决策层数据中心在烟草《数据烟草发展纲要》统一平台、统一数据库、统一网络、统一行业数据中心建设。数据中心建设要在保证不同业务系统数据相对独立的基础上，建立数据交换和共享机制，通过对数据的加工、清洗、传递和交换，实现行业公用数据的标准化、一致化，建成基于不同类型业务主题的高水平数据应用环境，实行数出一门，信息共享。行业要建设国家局（总公司）、省级局与工业公司、基层工商企业三级数据中心，逐步向上集中。在国家局（总公司）数据中心的统一管理下，要通过数据整合，按照一定的规则和权限，在行业内部实行各取所需、授权访问，做到信息共享。《烟草行业数据中心建设实施意见》行业数据中心建设的总体目标是：构建以信息资源标准为基础的数据交换平台、数据存储平台和信息服务平台。通过数据的收集、存储、加工，产生全面、准确、及时的信息资源，实现资源整合，信息共享；通过信息资源的分析、决策、执行、反馈，建立全面准确量化的管理体系，实现管理从定性向定量、由静态向动态、由事后向实时的转变，提升行业经营管理水平，提高行业整体竞争实力。5数据中心建设思路《烟草行业数据中心建设实施意见》烟草行业数据中心由国家局和省级公司两级数据中心构成，由信息资源标准、数据交换服务、数据加工存储、数据分析应用和信息安全保障五个基本体系组成，应用包括国家局、省级公司和工商企业三级用户。省级国家局基层单位战略决策管理监督生产经营数据分析应用体系行业数据中心管理决策电子商务电子政务管理决策电子商务电子政务业务库业务库业务库数据存储共享数据数据存储反馈数据反馈数据信息安全保障体系数据存储加工体系数据交换服务体系信息资源标准体系把握基础信息就等于把握信息化建设价值数据集成统一交换信息整合辅助决策建立企业内部统一的信息资源标准，统一企业内部的数据口径与理解，提高数据质量，同时为后续建设系统提供指导。信息集成，建立中心数据库。通过数据中心项目中的中心数据库建设，统一数据出口，进行数据管理，实现数出一门。实现数据采集渠道统一，消除信息孤岛。避免大量私有接口，减少后续系统开发的复杂度，避免牵一发动全身现象，保持业务系统独立性建立数据中心，梳理业务流程，打破系统边界、职能界限，实现有效的信息整合。实现数据向知识的转换，充分体现事前预测、事中监控、事后分析原则。统一规范建立企业内部统一的信息资源标准，统一企业内部的数据口径与理解，提高数据质量，同时为后续建设系统提供指导。响应国家局几个统一的要求能够真正有效的管理信息系统使企业内部规范为企业高层领导服务提高系统肯定率整体构架数据运行保障体系信息资源标准体系数据交换服务体系数据源数据存储加工体系企业内部数据数据分析应用体系行业平台数据传输通道卷包数采MES数据BI分析工具ETL工具报表，OLAP分析企业级数据仓库代码中心其他··············录入导入数据中心架构能源系统制丝集控其他系统99中软国际在数据中心项目中做什么？工艺过程质量效率可控柔性化生产随需应变重点难点卷烟生产供应链的启发：让用户明确工作及定位利用各种工具搭建数据中心加工环境，分析业务及用户需求建立各种分析及应用做的事情：搭建“加工环境”的产品比较ArcplanBusinessObjectsXIMSTR润乾报表数据源抽取、转换、加载业务数据集市企业数据仓库IBMDB2UDBOracleEnterpriseETL元数据前端分析展现工具查询工具、应用InformaticaPowerCenterIBMDatastageWII存储过程DB2CubeviewHyperionEssbase11公司数据中心优势•融入数据管控的思想，可保障数据质量数据是数据中心建设的核心，质量是数据中心建设的灵魂•国家局的战略伙伴，了解行业趋势，，熟悉业务，可建设前瞻性项目•保持项目建设的鲜活性•与各公司相比案例最多，可借鉴的项目经验多在多个数据中心建设项目中获得启发，取长补短•不仅有自己的产品，可灵活利用非本公司产品灵活应用各种相关产品12系统目标2.信息资源标准管理系统设计统一信息资源管理是烟草数据中心系统建设的基础。在项目建设中，必须建立一套信息资源标准管理体系以及与此相适应的工作机制，对烟草所使用的代码和信息资源进行统一的管理。通过基础代码、指标体系、信息资源的统一，形成数据交换和数据应用的支撑，为系统集成、信息共享打好基础。信息资源标准管理平台业务系统新业务系统业务系统商业数据中心数据集成与交换平台13信息资源标准管理体系数据元标准库编码标准库数据交换标准库数据元标准管理信息编码标准管理数据交换标准管理建设内容2.信息资源标准管理系统设计维护查询注册审批发布数据元标准框架关键指标元标准维护查询申请审核发布服务管理维护表示标准传输标准接口标准报文格式标准142.信息资源标准管理系统设计建设作用OLAP分析企业数据模型多维数据模型查询引擎数据挖掘RDBM系统1系统2系统n操作环境层数据仓库层业务层信息资源标准1.数据集成所必需的2.帮助最终用户理解数据仓库中的数据3.保证数据质量的关键4.方便维护，支持需求变化数据仓库15系统功能2.信息资源标准管理系统设计编码分类管理编码分类注册编码规则接口编码数据结构管理编码维护配置管理编码查询配置管理编码服务配置管理编码表注册库表索引注册生效失效管理维护日志管理编码分类发布编码维护库编码发布库同步更新存储于生效实效管理数据库建表编码规则接口共享视图注册维护日志管理数据结构发布同步更新存储于编码维护库编码发布库页面模板管理1.维护页面模板注册2.查询页面模板注册维护页面配置管理1.编码属性校验规则注册2.编码属性值配置3.选择维护页面模板4.选择查询页面模板查询列表页面配置管理1.查询条件配置2.默认查询结果配置3.翻页配置查询内容配置管理查询页面配置管理1.选择查询页面模板维护权限管理查询列表页面配置管理1.查询条件配置2.默认查询结果配置3.翻页配置查询权限管理查询配置发布应用系统注册应用系统编码分配应用系统编码服务方式配置1.WebService服务2.ETL服务ETL服务任务调度配置1.运行方式：串行、并行2、任务执行频率、时间……服务日志清除配置1.频率2.时间编码同步配置管理同步规则配置1.同步范围2.同步频率3.同步时间服务日志清除配置1.频率2.时间16建模思路3.数据模型设计事实表划分数据中心范围逻辑模型设计分析业务数据仓库模型设计数据集市模型设计物理模型设计•维表•事实表建立主题的EIR17主题示例3.数据模型设计商业企业卷烟购、销、存分析商业企业卷烟流向分析商业卷烟零售价格分析数据模型示例—卷烟销售主题烟叶管理卷烟销售卷烟生产184.数据模型设计表日期制丝牌号产品路线批次班次班组实际生产量产品路线制丝日生产执行产品路线代码产品路线名称日期日期代码日期名称月份代码月份名称年份代码年份名称班次表班次代码班次名称班组表班组代码班组名称制丝牌号牌号代码牌号名称制丝批次制丝批次代码烟丝牌号日期代码19维表与事实表分布二4.数据模型设计雪花模式：星型模式的维度进行进一步规范化时，星型模式就演进为雪花模式。产地表年月日仓库代码烟叶代码烟叶年限购进数量仓库表仓库代码仓库名称所属单位上级单位仓库容量烟叶编码表烟叶代码烟叶名称等级代码产地代码产地代码产地名称产地类型等级代码等级名称烟叶类型英文表示等级表烟叶购进表201、建立数据集成与交换平台的两级部署2、横向：实现地市各系统的信息共享与交换3、纵向：实现国家局省市各系统的数据交换与共享专网数据集成与交换平台省公司数据中心分析应用省地市其他应用信息服务数据集成与交换平台……销售烟叶应用应用应用信息服务数据集成与交换平台……销售烟叶应用应用应用数据交换数据交换市局（公司）A市局（公司）B两级数据交换平台数据交换服务体系建设214.数据采集设计信息资源标准管理系统数据元标准管理数据编码标准管理数据交换标准管理数据交换平台/ETL标准格式业务数据库1标准数据业务数据库n标准数据数据仓库规范数据抽取装载校对清洗集成转换数据质量清洗规则业务分析模型格式转换22数据ETL建设内容4.数据采集设计1.0数据源分析2.0采集数据表结构设计3.0建立数据采集机制4.0建立增量处理机制5.0建立数据传输机制数据采集的关键点：建立采集、上报、传输、接收监控机制，实现采集过程监管建立数据质检机制，提供数据准确性检查手段提供远程访问手段，实现人工远程调控系统运行提供远程日志自动收集机制，定期分析系统运行提供软件自动更新机制，降低系统维护成本提供软件版本监控机制，确保软件远程统一部署提供基础代码和基础业务指标自动同步机制，确保数据采集正常运行23数据源分析4.数据采集设计1.02.03.04.05.0调研业务系统，确定基础数据分布–有哪些数据源？–这些数据源是如何组织的？–数据源互相之间的关系是什么？–这些数据源是如何分布的？整理数据源结构，确定基础数据项–包括哪些数据项，列举所有数据项–每一个数据项的数据类型、精度–从业务角度，确定每一个数据项的业务含义–对于指标类型的数据项，确定其当前使用的计量单位，以及这种指标的标准计量单位24数据源分析4.数据采集设计1.02.03.04.05.0数据范围制丝BOM数据卷包BOM数据烟叶BOM投料烟叶单耗制丝单耗制丝日生产执行卷包日生产执行。。。。。。MES数据成品烟销售数据销售数据制丝在线质检数据制丝在线质检卷包机台停机数据卷包机台剔除数据卷包质检在线数据卷包数采能源COD数据能源消耗数据蒸汽流量数据能源数据25采集数据表结构设计4.数据采集设计2.03.04.05.01.0被采集端数据结构平行采集采集端数据结构表名：产量表表名：产量表字段名称字段编码数据类型字段名称字段编码数据类型年份YEAR整数年份YEAR整数产量AMOUNT浮点数产量AMOUNT浮点数表名：销量表表名：销量表字段名称字段编码数据类型字段名称字段编码数据类型年份YEAR整数年份YEAR整数销售量AMOUNT浮点数销售量AMOUNT浮点数建立采集表数据结构时，可综合考虑采集的数据量、效率要求、前置机性能、被采集数据结构的稳定性等因素，选择不同的采集表数据结构：表结构相同的平行采集还是进行整合后的汇总、合并采集固化的实体表还是灵活的动态定义表26采集数据表结构设计4.数据采集设计2.03.04.05.01.0被采集端数据结构合并采集采集端数据结构表名：产量表表名：产销表字段名称字段编码数据类型字段名称字段编码数据类型年份YEAR整数年份YEAR整数产量AMOUNT浮点数产量P_AMOUNT浮点数销量S_AMOUNT浮点数表名：销量表字段名称字段编码数据类型年份YEAR整数销售量AMOUNT浮点数建立采集表数据结构时，可综合考虑采集的数据量、效率要求、前置机性能、被采集数据结构的稳定性等因素，选择不同的采集表数据结构：表结构相同的平行采集还是进行整合后的汇总、合并采集固化的实体表还是灵活的动态定义表27采集数据表结构设计4.数据采集设计2.03.04.05.01.0采集端数据结构表名：数据表表名：字段定义表字段名称字段编码数据类型字段名称字段编码数据类型表标识TABID整数字段标识FIELDID整