11基于SupermapGIS的中国环境监测空间数据库

基于SupermapGIS的中国环境监测空间数据库项目背景近年来，国家和地方在环境监测能力的建设方面进行了大量投入，使监测系统的整体实力得到了较大加强，全国环境监测工作在城市空气、地表水和污染源自动监测方面取得了长足的进步，积累了大量的环境监测数据并建立了各种小型数据库，为说清我国环境质量状况、及时进行环境预警提供了良好的数据基础，为环境保护决策与管理提供技术支撑。随监测手段的丰富和发展，环境信息化工作越来越重要，总站作为国家环境监测技术中心、数据中心、应用与评价中心已经做了大量的信息化工作。但是，还存在诸多不能满足需要的问题，如数据库独立分散、数据缺乏统一集成管理、数据格式不统一、数据冗余、内容不一致、空间数据库不完善、业务运用系统模块化、功能简单等问题，给环境监测业务工作带来了不便，浪费了人力和物力。项目概述完整、系统的空间地理数据库成为制约中国环境监测总站信息化建设和发展的瓶颈。在此背景下，总站运用GIS技术、数据库技术和空间数据引擎技术，构建了环境保护系统第一套覆盖全国、分辨率包括1：400万、1：100万、1：25万和1：5万的空间数据库系统。本文重点阐述了基于Supermap+SDE和ORACLE10g技术构建的环境监测空间数据库的方法，并运用于中国环境监测总站空间数据库的建设中，取得了良好效果。1空间数据库与SuperMapSDX1.1空间数据库空间数据库是GIS中空间数据的存储场所，采用关系数据库管理系统(RDBM)S来管理空间数据，具有数据的结构化、数据共享等优点，在路线决策的工作过程中，空间数据库发挥着核心作用[1-4]，在公共交通、流域管理、地质灾害、高校管理等领域得到了广泛应用[5-8]。中国环境监测空间数据库实现的基本应用包括：各种比例尺(1:400万、1:100万、1:25万、1:5万)矢量、影像数据地图的管理与浏览，基础空间数据与环境监测业务数据的集成，环境监测指标数据与地理空间的关联并能进行查询分析。1.2SuperMapSDX数据的存储性能和访问性能对整个GIS应用的产生至关重要的影响，。中国环境监测空间数据库引擎采用SuperMapSDX（SpatialDatabaseeXtension），它是SuperMapGIS软件的重要组成部分，是支持海量空间数据管理的大型空间数据库引擎，是基于大型关系数据库管理海量空间数据的关键技术。SuperMapSDX+采用先进的空间数据库存储技术、索引技术和查询技术，具有“空间－属性数据一体化”、“矢量－栅格数据一体化”和“空间信息－业务信息一体化”的集成式空间数据库管理能力，支持多用户并发访问、空间数据与属性数据一体化存储、大范围空间数据无缝管理，具有效率高和安全稳定的特点，并且支持OracleRAC技术。2数据来源和分析中国环境监测数据库系统主要是建立中国环境监测总站的“空间地理数据库”和“环境监测业务数据库”，实现环境监测数据安全存储、灵活应用。2.1空间地理数据空间数据由基础地理数据和环境专题数据组成，用于图形显示、空间数据查询、分析和统计等，主要包括基础地理数据库和环境监测点位数据库，数据内容图示见图1。基础地理数据库：集成、整理现有的基础地理数据，建立包括1：400万、100万、25万和5万全要素（水系、行政区划、等高线、道路交通等）矢量数据库和包括DEM数据，DOM数据，遥感影像数据的栅格数据库。数据类型主要有：（1）基础地理数据，包括1:400万、1:100万、1:25万、1:5万全要素地理数据，主要图层信息有政区、居民地、铁路公路、水系、地貌、土地覆盖等；（2）1:25万和1:5万DEM数据；（2）高分辨率卫星影像与航片，包括113个重点环保城市全色正射影像图。环境监测点位数据库：以地表水业务监测点位为例，主要包括监测断面、采样点、污染源、功能区等空间位置相关的地表水业务监测数据数据。数据类型主要有：（1）监测断面基本属性，包括断面编码、断面名称、断面级别、所属行政区县名称、所属行政区县代码；（2）监测断面其他属性，包括监测站名称，监测站代码，断面所在河流，汇入水体，断面属性，检测方法，交界断面，规划水质类别，水系名称，重点城市，经纬度；（3）河流污染程度面要素，根据断面水质反映断面控制的河流段污染程度，将污染程度分为五类，即对控制河段根据污染程度显示不同色彩。2.2环境业务监测数据环境监测业务数据是环境监测工作的核心，是开展环境质量评价和环境预警工作的基础、也是环境污染事故应急监测的基础。从数据组成看，包括水环境监测数据、空气环境监测数据、噪声环境监测数据、生态监测数据、污染源监测数据、自动在线监测数据、近岸海域监测数据、环境标准、分析标准等习惯数据。业务数据必须能够与基础空间数据联合管理，在空间数据的基础上方便的叠加环境质量监测数据进行浏览显示和统计分析。2.3辅助数据辅助数据包括为环境质量评价和环境预警服务的其他数据，包括天地利用/土地覆盖、水文数据、降水、温度、地形、地貌、产业布局、人口、经济等诸多相关数据，这些数据为环境管理、污染应急监测起重要作用。2.4数据处理基础地理数据全部来自国家基础地理信息中心，1：100万和1：400万从网络获得，1：25万和1：5万由基础地理信息中心移植。在中国环境监测总站空间数据库的建设中，主要通过SuperMap的Deskpro软件进行数据的转换、投影变换、数据接边、融合，数据分层标准化等处理，正射影像图以城市为单位，把同一城市的分幅图进行拼接后进行投影转换。空间数据的属性信息一部分从基础空间数据提取，另一部分监测信息，如河流监测断面属性、监测断面水质数据等信息则通过与属性表的关联，导人数据库后和空间数据进行匹配，实现属性数据和空间数据的整合。数据库建设环境监测基础数据的数据量庞大，达到TB级别，同时对性能的要求较高，因此采用ORACLE10g企业版数据库为数据库平台的空间数据平台，运用SupermapObjects提供的SDB引擎进行空间数据库的构建与管理。1.1数据库建设目标统一环境监测所有空间数据（矢量、栅格与影像）的投影方式，建立空间数据与监测业务数据相关联的属性数据，实现业务系统应用中不同比例尺空间数据的无级缩放，便于空间数据的管理、维护与安全保障，提高机密级空间数据的访问安全性。将不同尺度的地理空间数据分别按照各自的分层和编码保存在空间数据库中，按照多级数据表达索引机制进行索引，实现地图显示的平滑过渡和逐步载入，实现多比例尺、多类型数据的建成管理。1.2数据库建设标准（1）数据坐标系：根据地理位置、范围的实际情况，设计系统采用数据的坐标系统的标准，保证各种基础空间数据的准确性，保证各种基础空间数据的可叠加性，保证各种基础空间数据的可重复利用性；（2）数据质量：根据国家基础空间数据的相关质量标准，结合项目的实际需求，设计项目中基础空间数据的标准，包括属性标准、空间拓朴标准等；（3）数据结构：根据国家基础空间数据的相关质量标准，结合项目的实际需求，设计基础空间数据的分层、图层属性项的标准。1.3数据库模型按照统一设计，分块实施的原则来进行。环境监测数据库平台包括管理数据库、基础地理数据库和业务数据库三大部分，其中管理数据主要是存放基础地理信息管理的相关数据，如机构、人员、权限、元数据、数据字典等数据，这些数据主要为其他信息数据服务；基础地理信息数据库是环境监测信息系统建设的基础，其中包括数字线划图（DLG）、数字栅格图（DRG）、数字正射影像（DEM）、数字高程模型、地名地址数据库等；业务数据库包括对总站各个业务室应用提供环境质量信息，如水质监测、大气监测，噪声监测，污染源等等，原则上业务数据库应与管理数据库和环境监测空间数据库物理上隔离。因此，数据库建设进行统一的规划设计，然后按照数据的分类，分块实施。1.4Schema及表空间划分采用SuperMapSDX+来存储和管理空间和业务数据，理论上可以实现所有数据存放，但这种方式将各比例尺的图层混在一起较难管理，并且与数据库只有一个会话连接，难以进行数据的并行处理，不能充分发挥服务器硬件优势，对应用的性能有负面影响，因此对数据进行合理的Schema划分非常必要，不仅使数据层次清晰和便于管理，也可以充分利用服务器资源优势，提高整体应用性能；但如果Schema分得太多，又会导致与服务器的物理连接过多，使服务器疲于在各连接间进行切换，使服务器压力过大，对性能也有不利影响。由于磁盘读写(I/O)的速度要远低于内存数据读写速度，磁盘读写是影响应用性能的最关键的因素。采用高转速磁盘、使用RAID技术及对数据进行分析并合理分布是提高应用性能的重要手段。1.5数据入库建库步骤包括：（1）分析矢量数据、影像数据及监测数据来源。其中矢量数据分析其图层信息、数据格式及原始坐标等。（2）数据处理。为建成SuperMap的SDX＋数据库，基础空间地理数据经过了格式转换，投影设置，投影转换，采用西安1980坐标系进行了分带投影。（3）计算数据存储空间。由于格式转换要生成SDB文件，栅格数据进行投影转换时，还需要新生成新的SDB文件来存储投影转换之后的数据，因此数据库需要的空间≈矢量数据SDB大小+栅格数据投影转换之后的SDB大小。（3）建立ORACLE数据库。安装ORACLE数据库，包括控制文件的冗余，重做日志文件的冗余和数据库在归档模式下运行等；建立空间数据存储的schema，包括建立用户，表空间和物理文件存储等。（4）分类处理入库数据。针对不同数据种类分别有不同的处理详细步骤。空间数据库优化关键技术1.1空间索引空间索引是空间数据库的关键技术，对于数据的浏览、查询和分析性能有着重要影响，在GIS技术发展过程中，R-Tree索引、Quad-Tree索引始终占据着重要地位。针对这两种索引方法中存在的不足，SupermapSDX+的空间索引技术分别对其进行了改进。SDX+在Quad-Tree索引中，将包式的管理模式改进为单记录单编码方式，使空间查询与SQL语句很好地结合起来，并且在传统的默顿编码中引入了希尔伯特分形编码思想，增强了数据的连续性；SDX+的R-Tree索引引入了Grid计算思想，可智能对数据进行分区计算，从而使得建立索引计算的复杂程度与记录数的增长呈正线性关系，使得建立索引的时间缩短2/3以上。除此之外，SDX+创造性地实现了基于代价的空间索引模式(CBSI,CostBasedSpatialIndex)，它将多种索引组合到一起，发挥各种索引的长处，规避其不足，实现高查询效率和低维护代价的和谐统一。在CBSI中，使用Tile索引管理图库信息，R-Tree索引管理静态数据，Quad-Tree索引管理更新过的数据，使得SDX+的空间索引能自适应各种类型的数据，同时方便用户使用。1.2数据压缩技术环境监测空间数据库综合应用了多种比例尺的全国数据，数据量庞大，为减少数据存储空间和网络负载压力，在建库过程中对矢量数据和栅格数据进行了压缩处理。SDX+支持无损和有损两大类矢量数据和栅格数据压缩模式，由于SDC编码算法压缩率可以接受，并且有着快速的压缩和解压速度和非常小的精度损失，对矢量数据采用SDC编码算法对数据进行压缩处理。对栅格数据，DEM数据采用SGL编码算法进行压缩，正射三维影像数据采用DCT编码算法进行压缩。1.3影像金字塔技术影像金字塔技术广泛应用于大数据量的影像数据的高速浏览显示，它通过对影像数据集进行一级级的萃取综合，建立多级子图层，其中每级子图层的数据量都相当于上一级的1/4，在浏览显示时，根据当前显示的范围自动计算显示比例尺，抽取适当的图层来显示，以达到数据在任何比例尺显示任意范围时都能非常快地显示。环境监测空间数据库在应用影像金字塔技术后，影像和栅格数据在任意比例尺下其显示时间都小于200ms，很好地实现了系统的性能要求。应用效果中国环境监测空间数据库建立了系列比例尺空间地理数据，包括全国400万、100万、25万、5万基础地理数据、城市1万基础地理数据，全国DEM数据，城市影像数据，为环境监测总站各业务系统提供了空间地理基础定位框架