20180722智慧水务资料包08大数据S24商业智能系统在水务行业的研究及应用

第十二屆深港珠澳供水界學術交流會暨第十二屆海峽兩岸水質安全保障技術與管理研討會商业智能系统在水务行业的研究及应用12阮伟玲3女4珠海水务集团有限公司5技术信息部系统开发管理专责6数据库系统工程师7商业智能系统在水务行业的研究及应用阮伟玲摘要：“十三五”期间，由于珠海水务集团机构整合及业务多元化、快速的发展，已由原来单一的供水业务发展为以供水、排水、污水处理、环境工程为一体的综合性水务环境全产业链投资运营服务。集团对各业务板块的运营数据的统计分析的需求日益增多，多年来各业务系统产生了大量分散、孤立的数据，而各业务系统也存在数据标准和业务处理规则不统一、财务数据和业务数据难以整合等问题，如何实现对大量零散的、异构的、历史的业务数据进行深度的提炼分析成为首要任务。本文以珠海水务集团数据整合与智能分析报表系统的应用实例重点研究了数据仓库技术（DateWarehouse）和商业智能技术（Businessintelligence，简称BI）在水务行业中的尝试与发展，讲述了业务数据通过IT技术转化为即时可读的有效信息，管理者可随时获取所需的业务数据及其多维度的、可视化的分析展现，实现决策分析无处不在的实时动态管理，从而帮助企业更加稳健地实现管理、经营目标和提高风险管控水平。关键词：商业智能；数据仓库；数据整合；BI；QIICKVIEW1.项目目标基于集团“十三五”战略目标要求及管理能力的构建，需要构建完整、及时、准确的经营和管理信息，全面支撑各级管理人员利用IT平台动态掌握企业各项业务执行情况。基于以上要求，要求BI系统建设目标：1.1业务信息系统整合、打通信息孤岛，保障生产、经营、财务信息的实时共享，为管理层快速准确决策提供有效数据和信息支持。1.2数据质量满足完整性、准确性、一致性、唯一性、合法性和及时性的要求。1.3建立集团内统一的数据模型及数据仓库，减少各板块内数据分析系统的重复建设；1.4具有可靠、高效地从多个、异构数据源抽取、转换、转贮、清洗、集成数据的能力；1.5实现数据分析及可视化能力，为集团内各单位提供生产及经营趋势、精细化管理等数据分析服务。2.项目实施方法经过多年信息化建设，集团相继建成以供水生产、营销管理系统、OA系统、财务系统、工程管理系统等为代表的功能实用的业务系统，按照“总体计划、分布实施、先试点、逐步推广”的原则建立一个整合、统一的决策信息平台：2.1针对集团管控需要集中管控的首先实施，如财务、人力资源管理等，确保集团能够以最快速实现信息整合，最大化支持有效管理决策；2.2针对集团各业务板块，实行分布实施，试点板块选择要符合业务重点、难点、信息系统基本完善的，先解决供水板块重点业务和管理功能，其次逐步推广和覆盖到其他板块；2.3通过实施和使用之间的有效融合，逐步指导和改善业务管理水平，有效支持现有管理决策。3.需求分析及设计3.1明确分析主题3.1.1对于集团高层领导，要了解他们对近期规划以及他们期望了解到什么样的数据、频率、数据表现方式。以2016年为例，分析“市属国有企业经营业绩考核指标目标值”及“集团十三五发展规划”，得到如下指标：关键指标指标含义所属分析主题衍生指标净利润归属母公司所有者的净利润集团经营分析（成长能力）营业收入，营业成本，收入增长率，净利润增长率净资产收益率税后利润/所有者权益集团经营分析（盈利能力）净资产总资产利润率利润总额/资产平均总额总资产，总资产增长率，总资产周转率资产负债率负债总额/资产总额集团经营分析（偿债能力）流动比率衡量企业流动资产在短期债务到期以前可以变为现金用于偿还负债的能力流动资产，流动负债总资产周转率营业收入净额/平均资产总额集团经营分析（运营能力）固定资产周转率销售收入/平均固定资产净值人均利润利润总额/职工平均人数集团经营分析营业收入，营业成本，投资收益，营业费用，管理费用，财务费用平均单位成本指生产单位产品而平均耗费的成本供水平均单位成本，污水处理平均单位成本国有资产保值增值率指企业扣除客观因素后的期末国有资本及权益同期初国有资本及权益的比率产销差率指自来水总量与用户的用水量总量中收费部分的差值的比率供水板块经营分析分区计量供水量，销售净化水3.1.2对于中层管理人员，要了解各个板块的数据处理和共享情况以及他们对未来数据的需求，包括数据分析过程、数据来源以及频率、实时性等。以供水板块2016年集团年度考核方案及日常运营管理需要分析，得到如下指标：关键指标指标含义所属分析主题衍生指标供水板块单位成本指生产单位产品而平均耗费的成本供水板块经营分析自来水供水量，原水供水量水质综合合格率Σ（各项考核指标合格率×各项考核指标权重）÷Σ指标权重×100%出厂水综合合格率，管网水综合合格率，二次水综合合格率水费回收率实收水费/应收水费×100%水表抄见率，抄表准确率，抄表及时率水价分析对各类用水综合水价分析3.1.3对于基层业务人员，要了解该单位现有的数据采集方式以及对未来数据处理的期望等。关键指标指标含义所属分析主题衍生指标生产物资消耗指自来水生产过程中各类药耗分析供水板块生产分析自来水供水量，原水供水量综合电价指自来水生产过程中电量分析水库库容对水库相关指标进行分析水库水位，水库库容，降雨量水压分析对供水管网压力进行分析爆管分析对供水管网进行爆管分析话务分析对客户服务系统的话务进行分析供水板块服务分析拨入量，人工受理量，语音受理量，丢失率投诉处理分析对客户服务系统工单进行分析处理总数，处理及时率，销件及时率3.2源业务系统探查在数据建模前，需对源系统进行回溯式探查，有助于理解业务逻辑以及数据流程。根据上述主题的关键业绩指标分析，数据来源自财务系统、供水生产调度系统、供水营销服务系统、供水客户服务系统、水质中心实验室信息管理系统等。3.3维度一致化由于数据来源自不同的异构业务系统，在建立数据仓库及ETL设计前，数据源数据的格式、度量规范，成为本项目成败的一个关键，所以必须对维度进行一致化处理，主要通过系统的维度总线矩阵实现：KPI指标\维度时间单位/地点其它年月日时公水泵水供监产原管口司厂站库水所测点品材料材径净利润√√√净资产收益率√√√总资产利润率√√√资产负债率√√√流动比率√√√总资产周转率√√√固定资产周转率√√√人均利润√√√平均单位成本√√√√国有资产保值增值率√√√产销差率√√√√供水板块单位成本√√√√√水质综合合格率√√√√水费回收率√√√√水价分析√√√√生产物资消耗√√√√√√√√综合电价√√√√√水库库容√√√√√水压分析√√√√√√√√爆管分析√√√√√√√话务分析√√√√√投诉处理分析√√√√√3.4BI软件选型通过对本项目的需求分析、投资规模及风险评估后，选取了QlikView作为本项目开发的BI软件。产品名称数据抽取系统运行用户操作界面设计安装部署学习掌握建模实施支持SAPBO支持，需购买多种不同数据源的抽取工具较快一般难工具不统一开发较难安装复杂数据抽取、界面展现等各部分工具程序很多，且不统一较难需建模耗费大量时间周期长IBMCognos支持快一般非常难架构复杂安装需要专业支持安装程序难需建模耗费大量时间周期长很多，很全面QlikView支持快鼠标点击就可以完成大多数功能灵活,易掌握简单、快速；架构简单，数据抽取、界面展现一体化不需编码易交付可以不安装数据仓库自动建模周期短，易交付3.4系统架构设计架构设计是一个总体规划，它描述了从源系统到决策者之间的数据流程，以及数据在该流程中进行的各种转换和数据存储操作。上图所示，后台区显示了如何在ETL过程中使用ETL服务层中提供的功能对来自源系统和目标系统的数据进行处理。这些数据集会被装载到BI应用程序中，并通过一致性维度和一致性事实关联到一起。对于用户来说并不需要提心数据是来源自哪个业务系统和数据是如何存储。4.系统实现由于QlikView可以不安装数据仓库，并且能够自动完成建模工作，所以本项目从数据抽取开始：4.1数据提取、转换和加载在项目中最困难的部分是用户需求分析和模型设计，而ETL规则设计和实施则是工作量最大的。在项目实施ETL过程中，我们发现以下问题：4.1.1由于源系统的优化升级引起的数据的时间差异性问题：对于较早的不完整或不符合规范的数据，必须定义数据规则，进行一次全局抽取，并且在此过程中予以更新或补充；在系统上线运行后，则采用增量抽取方式。4.1.2由于源系统数据约束不够严谨引起的数据依赖性问题：对于源系统由于设计缺陷引起数据不完整的事实，通过规则采取清洗策略，保证抽取的数据完整性。若清洗也不能解决上述问题，我们需要评估这部分数据的规模，甚至舍弃这些数据，以保证数据仓库中事实表和维度表之间的关联完整有效。4.1.3数据质量问题分析：需制定明确的数据质量目标及管理机制，通过定期的数据审核流程，由专人负责对抽取后的数据进行数据校验，从而保证数据准确和及时。4.2多维分析通过QlikView完成对各主题数据的多维分析，通过采取切片、切块、旋转、上卷、下钻等各种分析动作，并结合用户故事与需求，使用户能多角度、多侧面地、快速、一致、交互地观察各主题数据。4.3数据展现通过对各指标数据质量及特点分析，分别采用不同可视化组件，如饼图、条形图、透视表、KPI、仪表盘、折线图等，通过优化组合的方式对同一主题针对不同的场景来分析和展现数据。4.4用户培训和数据模拟测试通过制定差异化培训目标，分别完成对各级管理人员、系统管理员、系统数据较验员等培训工作，并且在数据模拟测试中不断对数据展现进行优化。5.成效与不足5.1成效5.1.1BI可以将企业信息化的数据孤岛整合起来，提供一个全局视图，让管理者可以更加全面地看待问题，降低决策失误风险性。5.1.2BI能够将数据转换为知识进而辅助决策，管理者可以根据BI提供的钻取功能对数据结果进行追根溯源，使问题的分析不止步于表面结果，发掘出数据中包含的机会。5.1.3通过在BI中设置数据报警阀值，帮助企业进行风险预警。5.1.4BI提高了员工的工作效率，员工无需制作大量报表以满足统计要求，而管理者也可实现自主分析。5.2不足5.2.1由于没有真正建立独立的数据仓库，以致本系统数据仓库不能直接地被其它系统调用或再进行数据加工分析，只能通过QLIKVIEW提供的API进行定制开发。5.2.2虽然QLIKVIEW可以把地图作为一个控件显示在分析主题中，但是地图底图只能从QLIK默认的地图URL中选择，并不能与企业已有的地理信息系统直接关联，所以本项目并没有完成位置信息与业务信息的结合。5.2.3由于手机屏幕大小的限制，若采用通过浏览器方式访问BI系统，并不能如IPAD一样有可视化图表界面自适应的效果；而其提供的APP也只能支持IPHONE手机。故本项目的移动应用未如理想，需要在二期项目对移动应用方面进行二次开发优化。5.2.4云计算技术为移动BI提供了更好的支撑，某些BI平台甚至能按用户的需求把BI信息定时送到用户手机上，这是本系统日后优化的方向。5.2.5由于集团在全面预算管理信息化系统建设的滞后，以致于本系统虽然完成了运营生产、成本管控及绩效分析，但没有预算这个关键点，所以并没有真正将成本管控与绩效分析有机地串联起来。5.2.6由于数据挖掘是一门交叉学科，需要汇聚不同领域的研究者，而本项目因受预算及实施周期的限制，并没有实现直正意义上的知识发现，即发现那些不能靠直觉发现的、甚至是违背直觉的信息或知识。5.2.7由于BI系统使用范围从为部门特定用户服务扩展到为整个企业所有用户服务，所以要求BI系统在功能上具有可配置性、灵活性和可变化性。5.2.8商业智能应从单独式BI向嵌入式BI发展，即在企业现有的应用系统中嵌入BI组件，使业务系统也具有商业智能的特性。参考文献[1]苏力萍，商业智能理论与应用实践，中国科学技术出版社[2]KenCollier，敏捷分析，机械工业出版社笔者简介：阮伟玲,广东省珠海市梅华东路338号珠海水务集团有限公司