2019年智慧水利大数据平台建设和运营整体解决方案

智慧水利大数据平台建设和运营整体解决方案目前关于智慧水利的定义、设计方案非常多，各有各的优点与不足，因为基础条件有区别，则重点不同，应选择符合自身实际需求的。智慧水务作为智慧城市的一部分，涵盖范围非常广泛。它包括城市的水资源系统、供水系统、排水系统和防汛防涝系统等。从数据的检测、采集到数据的传输、存储，再到数据的处理分析，利用结果进行生产管理和辅助决策等，便于快捷科学地管理系统中的各个环节，实现城市安全管理、行业节能生产、资源合理利用的社会目标。同时将部分信息进行共享互通，服务城市居民，提高对城市资源和环境的感知力，提高人们的环保护意识，共同创造环境友好、经济良性发展、人们安居乐业的和谐社会。作为城市中的供水企业，应开展大数据平台建设，通过对数据的收集、处理、分析，同时实时监控各个环节的生产过程，以更加精细和动态的方式管理供水系统，实现生产管理数字化、调度更科学、流程更合理、系统更节能的目标。通过实时监控系统平台及智慧水务综合应用平台，以Web服务等形式，将数据、生产过程信息覆盖至系统内任何一个角落，使数据展示实现智能化，协助全体生产管理人员实时了解、分析、控制生产流程中任一环节，使生产过程不断完善、管理水平不断提高，从而达到“智慧”的目标。2、系统规划系统规划应从顶层架构开始，各相关部门充分论证，根据不同的基础条件进行调整，逐步完善、不断推进。图1涵盖了供水企业的主要系统。智慧水务大数据平台的意义在于几乎汇集了企业所有生产经营活动过程中的数据，通过综合应用平台进行分析与处理，解决了各子系统孤立存在、数据无法共通、各个部门的报表重复提交的问题。同时又保证了各子系统独立运行的特点，提高了数据统计、分析、应用方面的能力，确保数据提取高效、准确，提高了生产办公效率。2.1数据仓库2.1.1功能数据仓库是智慧水务大数据平台的核心系统。硬件上它是一个数据服务器群，软件上它就是个大型数据库。它的主要功能是汇集、存储从各个子系统提取的数据，并向综合应用平台提供数据，各子系统的数据将完全实现共享互通。2.1.2数据库选型数据仓库选用的数据库软件，应从系统的开放性、可伸缩性、并行性、安全性、数据库性能、客户端支持及应用模式、操作简便性、兼容性等多个方面进行比较。从性能出发，目前建议选用Oracle或DB2，考虑到必须与现有的子系统进行对接，或许不得不选用SQLServer，但这肯定不是最好的选择。还应综合考虑其他要素。2.1.3接口为确保与各个子系统的连接，需要统计出各子系统可以提供的接口模式，但以后建设或升级改造的子系统，应提供数据仓库软件的标准接口，或有直接读写功能，或有ODBC、JDBC、OCI等模式，但都必须使用最短的途径，考虑安全性及可靠性。2.1.4数据数据仓库数据对子系统的数据提取，应根据实际需求进行，不必全部提取出来。针对不同的子系统，提出标准的、精确的数据提取模板，每个子系统按数据模板提供，从而不会对众多子系统的建设、升级更新造成影响。2.2综合应用平台2.2.1平台功能综合应用平台是用户应用系统的集合，将数据仓库数里的数据进行挖掘、加工、汇总、统计等操作，然后以图表(报表)等多种形式通过内互联网展示给用户。2.2.2应用系统类别应用系统类别可以根据不同的应用需求开发，但主要有以下几种。(1)服务企业内部生产管理使用的系统。如统计报表系统、生产调度系统、经营决策分析系统等。(2)面向公众使用的系统。如综合门户网站、微信系统等。(3)向政府相关部门发布信息的系统。数据仓库的建立，将支持开发更多类别的应用系统。各部门的数据可完全实现共享互通，企业可根据需求建设。2.3各子系统概况及建设系统中的营收管理系统、用户维修报装管理系统、NC财务管理系统、物资采购申领及仓库管理系统、热线管理系统、人工填报生产报表系统与设备管理系统等为现存系统并且已使用多年，根据其功能特点及数据提取要求，增加与数据仓库的接口。接口编程一般由服务商或厂家开展。系统中的排水生产管理系统、水资源实时监控系统，这些跨子公司或跨主管部门的子系统，可以提供接口标准及连接办法，多方协调处理。但这些子系统的建设与珠海供水实时监控系统相仿，虽然也复杂庞大，但提供数据仓库的接口不难实现。珠海供水实时监控系统，目前已完成一期建设，建成了包括5个水厂、3个大泵站、3个小泵站的实时监控系统，已使用数年，主系统相当稳定。但由于系统中各厂站的PLC系统建设质量参差不齐、部分数据采集不完整等原因，系统需要进一步完善。供水管网及二次供水实时监控系统的建设与珠海供水实时监控系统采用技术大部分相同，以下着重探讨这方面的建设。2.4珠海供水实时监控系统珠海供水实时监控系统是一个非常庞大的子系统，它将对珠海市所有水厂、取水泵站、加压泵站的生产过程进行实时监控。因此，涉及这些厂、站的自动化系统建设和数据采集。目前已直接连接超过70个PLC子站、3个大型数据网关(ModbusTCP/IP)，全部建成估计连接PLC子站超过120个。它将为珠海水务大数据平台提供大量的基础数据。系统结构如图2所示。2.4.1系统结构系统主要由PLC集成系统、子数据服务器系统、网络组态中央服务器系统等组成。其中网络可以是光纤以太网、无线以太网、用4G路由器组成的网络等。目前各厂站大部分有自控系统，不同的自控系统采取不同的通讯方案，通过通讯软件、数据网关、OPC服务器等技术，将数据直接传到集团公司的组态服务器，或先汇集至本地的数据服务器，然后再统一传送至集团公司的组态服务器。各厂站应具有完善的自控系统，确保每个仪器仪表正常工作，数据采集是一项关键的工作。除了在仪器仪表选型上要下大功夫外，制定科学有效的仪表管理制度也是重要的工作之一，确保数据长期准确有效是努力的目标。2.4.2HMIServer中央服务器系统网络组态中央服务器系统主要由网络HMI组态系统及网络数据库服务器系统组成，是整个实时监控系统的核心组成部分。它既要承担数以百计来自各种客户端的在线服务请求，又要接收与处理来自各个子服务器的实时数据。中央服务器中HMI组态软件的选择将是整个系统成败的关键。2.4.3网络HMI组态系统应选用基于Web平台架构的组态软件，确保多用户并发访问的速度，同时具有优秀的历史数据库技术。以此建立起来系统具有如下几个突出的特点。(1)跨平台系统架构，不依赖任何服务器环境平台，支持多种IE及客户端同步访问方式，客户端数量达300个或以上，客户端可跨平台布署，能同时布署Windows、Android、苹果iOS等。(2)独有的服务器内核结构，BS/CS模式同属于一个服务器内核，项目无需发布或转换，保存即可立刻通过IE访问，所见即所得。(3)高效的及高压缩比的历史数据库，以分钟为时间单位可以同时记录数以万计的历史数据。(4)对象矢量化，支持大图模式，对象可以拖动。(5)具有P2P云组态功能。(6)与外部数据库连接功能，如SQLServer、DB2、Oracle等。2.4.4子数据服务器系统(DateServer)子数据服务器系统是分布在各个水厂、泵站或河流综合检测点、水库等地的子服务器，作为与主服务器配套的子服务器群。子数据服务器根据现场的不同的PLC系统进行配置，融合多种PLC系统解决部分PLC系统不能跨网段传输数据的问题。组态子服务器系统主要有四个重要的功能。(1)通过以太网连接中心服务器，以ModbusTcp/IP、P2P或系统内部数据传送的方式，为中央服务器提供数据，通讯速度以毫秒为单位。(2)通过各种不同的网络方式(如有线以太网、无线以太网、4G路由等)、不同的协议(如ModbusRTU、MODBUS/TCP等)与PLC系统相连。(3)可作为客户端的子系统接入点，其系统接入性能与中心服务器相同，便于当地技术管理人员直接管理，同时各类客户端根据权限可以跨越中心服务器直接访问子服务器。形成多种层次的访问/服务结构，使整个系统更具灵活性。(4)根据需要，子服务器可扩展下一层子服务器，连接更多的PLC及现场仪表系统，同时不会形响任何在用的系统，使整个系统的安全扩展性更强。2.4.5系统建设情况(1)系统首页(如图3所示)。珠海供水系统中的各个水厂、泵站、水库等，按地图位置分布其中。比较直观，易于监控及管理。(2)水厂具体页面。对水厂的监控，通过点击菜单或页面中的图标进入即可。如图4所示。(3)流程具体页面。点击菜单进入次氯酸钠消毒车间。如图5所示。由此可见，当系统建设完成后，每个生产单位、生产流程状况都处于监控当中，只要有互联网就可以实现监控。2.4.6子系统数据记录情况包括各个生产单位、生产流程过程数据的记录。目前是以每分钟为单位进行记录，尽可能实时动态地反映生产情况，可根据需要选择数据间隔时间，如图6所示。图6是部分表格展示形式，还有图形展示方式，这里不详述。下面简单探讨管网及二次供水实时监控系统的建设。2.5管网及二次供水实时监控系统管网及二次供水实时监控系统主要监控项目为:用户端远传水表集抄;大客户流量计;二次加压泵房;管网运行数据(如关键点的压力、流量、浊度、余氯等数据);高位水池等。对其进行实时监控，并对相关数据进行历史记录。2.5.1用户端远传水表集抄用户端远传水表集抄目前有非常多的解决方案，技术路线也非常多，主要是设备厂家提供的解决方案，各有优缺点。除了要认真考虑技术方案以外，更需要重视的是成本效益问题。比如说初次更新安装费用、维护成本、设备使用周期到后再更新的成本等。对于一座具有数十万个水表的城市来说，不得不认真考虑。因此，采用的办法是配置关键节点的流量计、大水表，大客户水表采用远传集抄方式实时记录与监控;一般用户水表采用人工集抄(部分外包)方式。实现了有效的管网流量实时监控及大规模的用户水表集抄的低成本方案。2.5.2大流量计、大水表实时监控通过光纤网络、4G网络、GPRS等，对大流量计、大水表进行实时监控、实时记录。通过历史曲线可以动态分析管网流量情况、用户用水情况，便于及时采取有效的应对措施。2.5.3二次加压泵房由于城市高速发展，高楼大厦林立，二次加压泵房数量不断增多，因此，用户反映供水问题的机率越来越大。为进一步提高供水服务质量，有必要对二次加压泵房进行组网，实时监控现场的设备运行情况，确保居民安全用水，提高用户的满意度。2.5.4管网运行数据城市中的管网实时运行数据，对一个城市的供水调度是相当重要的。它涉及一个城市的用水安全、供水系统的节能运行等问题。因此，实时监控其中关键点的压力、流量、浊度、余氯等数据，是每个供水系统都必须完成的技术任务。几十个类似的生产单位，记录生产流程的数据，然后根据需要提取到数据仓库中，形成一个庞大的基础数据库，然后再进行更高层次的智能、智慧应用。珠海供水实时监控系统等子系统，在完成系统内各水厂、泵站、管网、用户水表等生产设备设施的实时动态监控外，也完成了庞大基础数据的存储及提取，对智慧水务大数据平台的建设起到关键性作用。可以预见，当多个类似珠海供水实时监控系统建成时(如管网、排水、水资源等)，全系统的生产数据形成，智慧水务大数据平台将渐趋完善。3、人才队伍培养智慧水务大数据平台的建设中，人才培养成为项目能否顺利实施、建成后能否良好使用的关键。公司最高领导层应予以足够的重视，尽早规划才能有效解决。按系统从上到下的层次分，关键人才大概可分为如下几种。3.1系统管理人才要求精通各类子系统建设及管理方法、熟悉各种业务流程、各种生产工艺流程、管网管理及项目管理知识，具有良好的协调沟通能力等。3.2数据库使用及管理人才数据库管理人才是重要的技术人才，是大数据平台能否正确使用、安全运行的关键。要求熟悉数据库编程、维护管理等相关技术，特别要掌握Oracle、DB2、SQLServer等技术，这将关系到各个子系统到大数据平台接口的定义及日常维护管理。3.3应用系统建设及管理人才应用系统建设管理人员，应熟悉各类网站构建及管理方法，熟悉各类脚本语言，如主流的HTML、PHP、JSP、ASP、.NET、Java和VB等。这是各种应用系统建设流程管理、质量把控的关键。3.4网络及服务器使用及管理人才