节能环保物联网及智慧云服务平台应用示范工程项目建议书（23页）（DOC23页）

节能环保物联网及智慧云服务平台应用示范工程项目XXXX书一、总体构想根据调研，目前南京市环保局已经拥有包括“阳光政务系统”、“12369投诉系统”、“排污申报收费系统”、“污染应急指挥控制系统”、“机动车排气监测系统”、“污染源在线监测系统”、“环境空气质量监测系统”、“危险固体废弃物管理系统”、“核与辐射管理系统”在内的多套业务系统，可进行业务审批、意见收集、任务指派、排污申报与收费等各项业务功能。存在的问题主要是这些系统各自为政，数据无法有效共享与集成，导致同类数据在不同系统中存在冗余和不一致问题，同时这些系统间缺乏统一的数据管理模式，导致数据保存不规范、不完整。采用云计算、物联网和信息网格技术，对在用的业务系统进行分析，确定那些信息需要从原系统中抽取出来进行集成，然后建立一个基于云存储的、可扩展，具有统一规范数据格式的中心数据库，将各业务系统核心数据抽取到中心数据库进行数据集成；利用云计算平台的强大处理能力进行数据的处理和挖掘；最后，在中心数据库上开发建立包括企业信息全寿命管理（即从企业登记开始到企业注销的全程信息管理）、数据精确分析、处置决策、趋势分析等在内的应用，并为其它系统预留数据调用接口，最终形成一个涵盖在用系统数据，支持全局信息管理分析与应用的“智慧节能环保”全套解决方案的物联网云计算平台及应用系统。该系统的建立将具有很强的应用示范性和前瞻性。通过“节能环保物联网及智慧云服务平台应用示范工程”项目的实施，提炼物联网及云计算平台的应用标准，在江苏省乃至全国具有广泛的示范和推广意义。以下为“节能环保物联网及智慧云服务平台应用示范工程”项目的总体技术架构框图。异构终端虚拟平台：异构终端虚拟平台由感知层设备和控制层设备构成。通过物联网传感器、射频、红外、智能仪表等设备采集环境数据，通过泛在承载网络输入至信息融合处理平台。物联网控制层是由节能环保服务平台系统根据智能处理层的处理结果下发终端设备的继电器控制开关控制指令，实现照明、空调、电梯、用水等的节能减排控制。数据资源集成平台：从南京市环保局现有的环境监测系统对数据进行封装、抽取、同步、筛选、索引、压缩等集成处理后，输入信息智能处理融合平台，为业务应用系统的智能数据处理提供完整的数据支撑。泛在网络承载平台：利用江苏有线的泛在承载网络技术和基础设施，为物联网的终端平台或数据资源集成平台与云计算智能处理平台之间提供总线式高效网络信息传输。数据处理融合平台：数据处理融合平台由云存储、云处理、云数据管理子平台构成。对环境监测或建筑群等应用数据提供统计、智能分析、挖掘、融合、备份、可视化等处理服务，作为节能环保物联网进行智能计算的中枢大脑。节能环保服务平台：节能环保服务平台作为总体架构的最上层，为用户提供建筑群节能智慧监控服务、水环境智慧监控服务、土壤环境智慧监控服务、固体废物智慧监控服务、噪声环境智慧监控服务、核与辐射智慧监控服务、大气环境智慧监控服务、水资源循环利用智慧监控服务等。用户：“节能环保物联网及智慧云服务平台”可广泛应用于政府、企业、家庭等各行业各类用户。具有很强的通用性和示范性，可以在全省乃至全国范围内推广应用。1.1云存储平台技术及系统方案随着互联网、物联网技术和应用的高速发展，信息应用系统的数据规模也在急剧扩大，当今计量存储容量单位通常已是使用EBytes（1EB==1024PB）来计量，文件数量更是以亿为单位，传统的数据中心的高成本、数据分散存储模式已经不能满足海量数据规模的快速扩张要求。对海量数据的高可靠、高性能、低成本的安全存储和处理已成为各行业信息化建设与发展的最基本的必要需求。云创存储拥有的具有自主知识产权的cStor云存储技术产品。经过不断的积累与更新，是一款软件与硬件相结合的高科技系统产品。与国际上知名的云存储技术相比，具有极高性价比、超低功耗、高可靠、通用、安全等优势，可广泛应用于有大量数据存储需求的场合（如安防、广电、电信、互联网、物联网、银行等领域）。1.1.1cStor系统特性cStor系统实现了海量数据的云存储解决方案。系统提供了高吞吐量，大容量，高可靠性的7*24小时的不间断存储服务，拥有如下重要先进特性。超低功耗：软硬件一体化设计，单个主板功耗已降至几瓦的数量级，处于国内外先进水平；无限容量：提供海量数据存储，容量无上限，根据存储数据需求，灵活增减存储节点；灵活部署：系统可动态伸缩，根据业务需要增加和减少存储节点，支持用户空间配额管理；高性能：元数据内存访问，带宽饱和利用实现了快速访问和高吞吐量的优越性能；高可靠性：高可靠的冗余备份机制，提供7*24小时不间断无故障存储服务；通用性：系统支持POSIX接口规范，与应用系统无缝集成，无需另行开发。对于应用系统和操作本地文件系统完全一样；高安全：数据集中存储在云计算数据中心，数据安全统一控制，可针对用户进行访问控制，可结合云查杀等防病毒软件确保不同安全级别数据的安全；易维护：提供直观的系统状态监控和配置管理子系统，实时监控系统状态并进行异常告警。1.1.2cStor系统框架块数据存储节点：将文件按照固定大小进行分块，默认是64MB，每一块称为一个Chunk（数据块），每个Chunk都有一个对应的索引号（Index），数据块存储在块数据存储节点上，根据可靠性需求的不同，可设置备份块的数目，以实现在不同块数据存储节点上的冗余备份存储。元数据管理节点：元数据管理节点对文件名称、文件属性、数据块信息等元数据进行存储和管理。云空间管理节点：由一个元数据管理节点及多个块数据存储节点构成了一个云存储空间，简称云空间。通过云空间管理节点将多个云空间虚拟为一个无限大的云数据存储空间，该节点提供针对用户端的云空间管理和分配。用户挂载客户端：通过用户挂载客户端实现将云空间映射到本地文件系统的目录,兼容POSIX接口，挂载后就和操作本地的文件系统一样。配置与监控中心：提供针对各存储节点的管理配置与状态监控告警功能。1.1.3cStor系统关键技术低功耗技术：采用自主研发的低功耗主板，其功率已降至几瓦的数量级，处理国内外业界先进水平。元数据分布式存储技术：考虑热点数据的分布信息，通过将海量的元数据有效地分散存储在多个元数据服务器上来降低存储负载。采用分级聚集机制来存储数据,来保证查询结果的有效性和准确性。分析元数据多维属性信息的语义特征，将相关文件组织在相同或相近的组内，多个组构成语义R-tree结构,可实现多维数据的复合查询。相关查询、添加/删除和更新操作可以在有限的小区域内完成，降低操作的执行代价。低成本高可靠性技术：针对数据存储节点主要是数据的读写访问的特性，而没有其它计算，因此设计的低功耗数据存储节点，一个主板最大能够支持16块硬盘；从而实现硬件成本和能耗的大大降低。针对数据块可设定备份因子数目，在不同的数据存储节点上的备份，从而实现数据的高顽存；可针对不同目录，不同级别的数据进行不同的备份因子设置，如对可靠性级别较高的数据可将相应的备份因子设置高一些，从而达到最大的可靠性要求。高速并发访问技术：采用并发写入和读出分布式数据块，确保网络带宽饱和利用，确保读写访问速率。可提供不同用户级别的带宽服务质量保证QoS，以确保高优先级应用的数据读写速率；高速IO技术：目前针对传统的硬盘，在万兆网卡的条件下，单用户的吞吐率理论上达到1GB/s，通过针对SSD(SolidStateDisk)固态硬盘读写IO驱动优化技术，从而实现访问存储空间时达到更高的存储读写吞吐率。与目前的传统硬盘相较，具有低耗电、无噪音、产生热量低、耐震、稳定性高、耐低温等优点，缺点是目前价格稍高。传统典型的硬盘驱动器只能在5到55℃范围内工作。而大多数固态硬盘可在-10~70℃工作，一些工业级的固态硬盘还可在-40~85℃，甚至更大的温度范围下工作。数据安全控制技术：访问控制:支持用户级别的数据访问认证,存储空间级别认证和目录级认证，确保数据的安全访问控制；数据完整性：通过上述高可靠性技术确保数据完整、可靠；加密安全：数据实现块级别加密存储,同时可自由结合安全加密软件、云查杀病毒软件等对数据进行最大的安全保护。1.1.4cStor系统设计策略元数据存储设计策略：为提供高速的客户端响应，元数据存储于元数据管理节点(Master)服务器的内存中，并于本机进行持久化备份；元数据管理节点为主备双机方式，提供高可靠不间断元数据管理服务，单机故障时可实现无缝快速切换；考虑大容量数据存储时文件数量多，元数据容量大的问题，系统将元数据进行分布式存储，采用多个元数据管理节点进行元数据管理；支持灵活的空间挂载，可根据业务划分灵活地将不同业务数据挂载到不同的分布式元数据管理节点和数据存储节点；数据节点存储策略：文件数据在大于一定空间的情况被划分为多个数据块(chunk)，数据块被分布存储到不同的数据节点服务器(DataNode)。每个块可被设置为备份一定的份数，块信息被元数据管理节点管理，数据备份时由数据节点进行串行复制到其它数据节点DataNode进行备份；高可靠性策略：元数据管理节点Master为主从备份的双机高可靠实现方式；主从备份切换为几乎零延迟的高速切换方式，对数据操作访问可做到无影响；数据块在多个数据节点上进行冗余备份；客户端访问策略：挂载客户端通过云空间管理节点获取云空间；挂载客户端与相应的云空间元数据节点Master建立通信连接和元数据操作，获得数据块节点存储信息；挂载客户端与相应的数据节点DataNode进行数据读写；数据节点DataNode根据合适的备份策略向相应的其它数据节点发送块数据进行备份，参考下图：1.1.5性能和容量支撑元数据节点内存配置：根据计算和测试，2.56亿文件元数据需要的内存约为80G，1600万条的元数据，Master元数据存储需要内存空间约为5G空间，可根据该参考值进行Master元数据节点个数的增减配置。系统支撑容量：系统存储节点可灵活伸缩，容量无上限，可根据业务需要增减数据节点或Master元数据节点。100PB=100*1024*1024*1024MB假定每个文件的大小为25M的小文件,则文件数约为40亿，元数据需要的内存约为1280G，若每个Master提供内存为32G，则配置40个Master元数据节点对应的云空间即可满足100PBytes的存储需求。假定每个文件的大小为250M的较大文件,则文件数约为4亿，元数据需要的内存约为128G，若每个Master提供内存为32G，则配置4个Master元数据节点对应的云空间即可满足100PBytes的存储需求。参见下表：容量需求文件大小文件数所需总内存Master机器内存Master集群数100PBytes25M40亿1280G32G40100PBytes250M4亿128G32G4对于单个Master元数据节点对应的云空间而言，文件越大支撑的容量越大。系统吞吐速率：经测试，单用户单客户端在千兆网卡条件下写入速率可达到100MB/秒;理论上，单用户单客户端在万兆网卡条件下写入速率可达到1GB/秒。1.2云数据管理平台技术及系统方案CData是云创存储开发的基于cStor和Chubby的分布式存储系统。互联网应用的很多数据，包括Web索引、卫星图像数据等在内的海量结构化和半结构化数据，都可以存储在CData中。从实现上看，CData并没有什么全新的技术，但是如何选择合适的技术并将这些技术高效、巧妙地结合在一起恰恰是最大的难点。CData在很多方面和数据库类似，但它并不是真正意义上的数据库。下面对CData的数据模型、系统架构、实现以及它使用的一些数据库技术进行全面的介绍。1.2.1cData设计动机与目标云创存储设计CData的动机主要有如下三个方面。（1）需要存储的数据种类繁多。物联网或互联网应用需要处理的数据类型非常多。（2）海量的服务请求。云创存储运行着目前世界上最繁忙的系统，它每时每刻处理的客户服务请求数量是普通的系统根本无法承受的。（3）商用数据库无法满足云创存储的需求。一方面现有商用数据库的设计着眼点在于其通用性，根本无