浪潮烟草数据中心介绍

2020/4/16Inspurgroup浪潮烟草数据中心介绍刘永祥22020/4/16Inspurgroup内容数据中心架构数据中体系介绍系统简介题目32020/4/16Inspurgroup数据中心和业务/管理系统的区别？业务、管理系统数据中心使用对象业务人员、普通管理人员领导层、高级管理、分析人员应用范围基于特定业务应用领域范围内的业务实现和信息集成，跨领域的信息无法集成。可以处理跨部门、跨时间、跨业务、跨信息平台等复杂信息的集成问题；技术实现对简单的事务，短期、少量、实时数据请求提供高速响应对复杂的查询，集成的、历史的、大数据量的分析提供高速响应实现的功能日常业务操作处理；满足相对固定的报表及有限的业务分析需求。提供灵活、直观的数据分析和信息展示；适应管理策略的调整对数据分析的需求变化及不断增长的查询和报表需求42020/4/16Inspurgroup方案概述－国家局实施意见两级数据中心、五个体系、三级用户52020/4/16Inspurgroup信息标准管理平台62020/4/16Inspurgroup信息标准管理平台•行业信息分类及编码标准、数据元标准和数据交换标准由国家局统一制定、维护和发布。•省级单位在国家局规范和信息标准库基础上，对需要由企业统一管理的数据元和编码标准进行维护和发布。•如有需要，各基层单位也可在国家局和省级单位的的标准基础上，补充和扩展制定适合本级单位的标准。制定和继承相应的信息标准管理制度及操作规范确定数据使用标准建立信息维护标准建立信息标准管理平台统一维护和分发信息7信息标准管理平台规范数据装载转换校验清洗数据元标准信息分类和编码标准数据交换标准信息资源标准管理平台信息标准业务数据数据仓库业务系统业务系统新系统信息维护库信息发布库标准格式规则数据交换与服务平台82020/4/16Inspurgroup数据集成与交换平台抽取转换装载92020/4/16Inspurgroup数据交换过程－数据源分析数据源分析策略主要有：数据源确认：确认数据的源系统（或文件）和结构、目标系统及结构数据采集方法：针对每个数据源，定义抽取过程是人工抽取、自动触发、还是基于工具抽取；数据采集方式：联机采集；对于关系型数据源，并且允许直接访问的，采用直接连接数据源读取的采集机制；中间表方式：对于关系型数据源，能够联机，但不允许直接访问的，可以考虑采用中间表方式采集，即业务系统将需要提供的数据拷贝到中间表中，然后从中间表采集数据；数据离线导入：对于不能联机访问的，可以采用数据离线导入的方式，即业务系统将数据定时导出（比如excel格式），然后采集系统根据这些文件进行离线导入；人工填报：对于原来没有计算机系统，只有纸介质数据的，可以采用人工填报＋审核方式采集；采集频率：对于每个数据源，确定数据抽取的频率，每天、每星期、每季度，等等；工作顺序：决定抽取任务中某项工作是否必须等到前面的工作成功完成，才能开始；异常处理：决定如何处理无法抽取的输入纪录。102020/4/16Inspurgroup数据交换过程－数据传输数据传输方式卷烟销售数据卷烟购进数据卷烟库存数据烟叶收购数据烟叶库存数据烟叶调拨数据许可证发放数据案件结案数据省内ETL日采集数据卷烟数据供应商数据卷烟价格组织机构数据零售户数据坐席员数据送货员数据稽查员数据客户经理数据财务数据烟叶基础数据省内ETL日更新数据卷烟交易基础数据卷烟交易协议数据卷烟交易合同数据烟叶购销合同烟叶加工合同工商协同信息准运证信息（国家局信息服务平台）webservice即时同步数据销售计划采购计划信息分类标准绩效考核标准社会经济基础数据行业经济运行数据工业产/存/价格工业销售/价格/客户工业销售合同数据销售合同执行情况辅料、原料消耗数量外部填报/导入FTP/Excel一号工程上报数据打码到条数据非格式化上报数据MQ异步传输112020/4/16Inspurgroup一般存在三种类型的数据装载：初始装载：第一次对所有的数据仓库表进行迁移；增量装载：根据需要定期装载应用运行过程中发生的变化；完全刷新：完全刷新是指完全刷新一个或多个表的内容，并重新装载新的数据。在装载过程中，一般会用到四种方式：装载：如果要装载的目标表已经存在，而且也有数据存在于表中，装载过程就会抹去已有的数据，应用输入文件中新的数据。如果装载的目标是个空表，就直接应用来自输入文件的数据。追加：若表中已经存在数据，追加过程会无条件地增加输入数据，并在目标表中保存已有的数据。当存在记录重复情况时，需要定义如何处理重复的输入数据的记录副本（可以作为副本增加进去，也可以将其丢弃）。破坏性合并：如果输入数据记录的主键与已有记录互相匹配，就对匹配的目标记录进行更新，如果没有匹配的目标纪录，就将输入记录添加入目标表。建设性合并：如果数据记录的主键与已有记录匹配，就保留已有记录，加入输入的记录，并将增加的记录标记为旧记录的替代。抽取过程示例数据交换过程－数据装载12数据仓库层次结构2020/4/16Inspurgroup数据源SourceModel（包括信息资源标准库）ODSModelDataWareHouseModelStarSchemaModelDataMiningModelReportModelExternalModelOLAPCube元数据MetaDataModelDWDW层层TDODSADAD展现层132020/4/16Inspurgroup星形模型面向需求，采用星型模式建模0..*0..*0..*0..*0..*主题分析-卷烟购销存卷烟销售-月综合分析表2005-08-14ST_卷烟销售_月综合分析月份ID公司编号销售部门编号销售类型编号卷烟编号本期销售数量(条)本期销售数量(万支)本期销售成本本期销售金额上期销售数量(条)上期销售数量(万支)上期销售成本上期销售金额同期销售数量(条)同期销售数量(万支)同期销售成本同期销售金额pk,fk1pk,fk2pk,fk3pk,fk4pk,fk5ST_月历:2月份ID数字年数字月数字季度大写年大写月大写季度上下半年pk加载到OLAP：Sale01：Saledb02ST_卷烟销售渠道:3销售渠道编号销售渠道名称销售渠道大类名称pkST_卷烟公司:3公司编号公司名称合并公司名称公司简称合并公司简称父公司编号pkfkST_卷烟销售部门:3销售部门编号公司编号销售部门名称父销售部门编号pkfk1fk2ST_卷烟:2卷烟编号卷烟名称卷烟简称卷烟统一规格描述卷烟规格卷烟源品牌名称卷烟品牌卷烟生产厂家卷烟产地省份卷烟产地类别卷烟类型卷烟档次卷烟类别是否国家名优烟是否百牌号是否重点工业企业是否战略联盟企业是否省主导品牌是否省主推规格源卷烟编号卷烟编号规格pk14OLAP数据组织形式2020/4/16InspurgroupRDB数据组织MDDB数据组织产品名称地区销售量红塔山公司150红塔山西北60红塔山华北100红河东北40红河西北70红河华北80云烟东北90云烟西北120云烟华北140东北西北华北冰箱5060100彩电407080空调90120140152020/4/16Inspurgroup对以多维形式组织起来的数据，采取切片、切块、旋转等各种分析动作，以求剖析数据，使最终用户能从多个角度、多侧面地观察数据库中的数据(1)快速性:用户对OLAP的快速反应能力有很高的要求。(2)可分析性:OLAP系统能处理与应用有关的逻辑分析和统计分析。(3)多维性:多维性是OLAP的关键属性。提供对数据的多维视图和分析。(4)信息性:不论数据量有多大，也不管数据存储在何处，OLAP系统能及时获得信息，并且管理大容量信息。公司1999897红塔山红河云烟9897公司2公司3OLAP分析162020/4/16InspurgroupOLAP分析1.切片和切块(SliceandDice)在多维数据结构中,按二维进行切片,按三维进行切块,可得到所需要的数据。如在“城市、产品、时间”三维立方体中进行切块和切片,可得到各城市、各产品的销售情况。172020/4/16InspurgroupOLAP分析2.钻取(Drill)改变维的层次达到分析效果。按时间维向下钻取按时间维向上钻取60182020/4/16InspurgroupOLAP分析3.旋转(Rotate)/转轴(Pivot)通过旋转可以得到不同视角的数据。19数据应用平台－分析主题主题分析经济运行分析品牌分析市场分析供应链分析供应商分析客户分析专卖分析烟叶分析财务分析人力资源分析202020/4/16Inspurgroup数据应用功能多维分析•支持上钻、下钻、切片、切块、钻取、旋转等OLAP分析方式，支持任意级别、任意角度、任意范围的分析；•支持快速、多指标的汇总、同比、环比、累计计算报表设计•支持各种复杂的、固定格式报表；•支持可视化、拖拽方式的灵活报表的自行定制，并可根据模板实现快速定制，以满足日益增长的报表需求；即席查询•支持可选条件、自定义条件等方式的查询操作，可实现所见即所得的查询，查询结果可进行排序、生成报表、预览和打印；信息发布•提供电子地图、分析报告、仪表盘、雷达图、对比图、趋势图等多样的信息展示方式；•图形展示结果可方便的另存为Excel、PPT、PDF等方式进行二次修改；•实现功能之间的导航功能，贴近思维习惯，方便使用者的操作；预警监控•根据设置的相关预警规则，自动对相关数据给予告警，并可发送告警消息给相关人员；统计及挖掘模型•可提供多种统计及数据挖掘模型，帮助领导进行决策，如：80/20分析、波士顿矩阵分析、SWOT分析、ABC分类分析、多元回归分析、时间序列预测、聚类分析等。信息反馈•对分析中发现的问题可以以消息、邮件或短信的方式反馈给相关人员或部门，并可以附带相应的报告或报表，系统自动实现信息的转发，从而实现消息的及时跟踪和反馈；21分析型指标业务型指标领导层经营管理层执行层业务分析人员管理驾驶舱专题驾驶舱自定义报表即席查询主题分析固定报表监控预警绩效评估运营指挥数据中心的应用层次计划、进度、成本、绩效执行过程跟踪、找出问题并制定改进策略任务完成情况、差距领导层：省局（公司）领导、市公司领导管理层：省局各业务部门主管、地市公司部门主管执行层：市场经理、品牌经理22领导层功能－管理驾驶舱驾驶仓的主要目的是通过生动而明确的图形和数据显示企业运营的关键性指标，使管理者能够一目了然的了解当前经济运行的关键点情况，对企业运营情况进行监控。232020/4/16Inspurgroup领导层功能－绩效评估依据绩效考核标准或相关的管理办法，以量化的数据结合图形进行直观的分析和比较，为工作业绩考核和评估提供依据，如：经济运行评估、网建评估、品牌评价、销售业绩评估、供应商评估、内管考评等。242020/4/16Inspurgroup领导层功能－绩效评估25领导层功能－运营指挥面向流程、面向过程的实时监控流程图的展现方式供应链过程、专卖内部监管26领导层功能－运营指挥面向关键业务环节的工作效率情况实时监控，体现当天不同时段的工作状态。电访情况电访的工作进度和工作质量货源投放情况当天拟定的销量与当前完成的销量当天应访户数与已下单户数对比物流中心运作情况当天应分拣量与已分拣量对比出库、入库数量27管理层功能－经济运行分析•分析全行业的经济运行指标完成情况，体现趋势、对比排名情况行业经济运行分析•分析全省及各单位经济运行指标完成情况•包括：计划完成情况、卷烟购进、销售、库存指标及产品结构（价类、百牌、名优烟、低档烟、重点工业企业）•价格变化情况、财务盈利状况区域经济运行分析•分析不同周期的市场价、批发价等价格指数及其变化趋势•体现价格变化对销售的影响价格分析•自动汇总并生成卷烟经营月报表及电子报告•可导出并修改完善卷烟经营月报•分析不同地域的人口数、零售户数量和销量，零售户均收入与当地居民收入的相关性，为合理控制客户数、合理调控货源提供依据人口与销售相关性分析28管理层功能－经济运行分析292020/4/16Ins