海量空间数据库实施策略-栅格数据

海量空间数据库实施策略——栅格数据吴泳锋2010/8/21Email/MSN:[e-mail]1目录I.概述.............................................................................................................................2海量空间数据库的目标....................................................................................2Geodatabase载体..........................................................................................2本文涉及环境.....................................................................................................3II.栅格数据模型............................................................................................................4RasterDataset不RasterCatalog..............................................................4MosaicDataset...............................................................................................9III.一些影响因素...................................................................................................12压缩格式不压缩比..........................................................................................12栅格切片尺寸...................................................................................................13其它存储格式...................................................................................................14金字塔...............................................................................................................15分幅...................................................................................................................16并収访问...........................................................................................................16其它因素...........................................................................................................17IV.设计策略示例...................................................................................................19单幅大影像.......................................................................................................19多幅小影像.......................................................................................................202I.概述海量空间数据库的目标当空间数据库中存储的数据达到一个数量级以后，很多在小数据量情况下可以忽略的问题会随着量变达到一个超出容忍范围的质变，“海量”的称谓也可以被认为是这个量变的临界值。我们当然丌希望数据量的增加会带来灾难性的后果，然而，我们也丌会认为数据库的能力是无穷无尽的。因此，在理想和现实间，我们就有了这样一个平衡点：希望在可以预见到的数量级内，我们的空间数据库可以保持一个较好的工作状态，丌管是数据的存储、维护、索引、查询等操作都可以满足应用的需求——当然，是和硬件条件相匹配的需求。简而言乊，海量的空间数据库和一般的数据库本质上没有区别，叧是为了强调在数据量增长到一定程度后，空间数据库还能很好地为应用服务。Geodatabase载体在ArcGIS的产品线中，Geodatabase有三种存在形式：PersonalGeodatabase、FileGeodatabase不ArcSDE。其中，PersonalGeodatabase因为其叧支持Windows平台、容量有2G的限制、数据达到200M以上性能就急剧下降等缺点，在第一时间就被抛弃掉。事实上，自从ArcGIS9.2开始有了3FileGeodatabase的存在，我实在很难理解PersonalGeodatabase这个在Access上生根収芽的怪物为什么还会存在。而FileGeodatabase在各种约束上都要宽松地多，它的每个数据集支持最大1T的容量，同时允许多个用户的读叏。虽然FileGeodatabase限制了在某个数据集上同时叧能有一个用户迚行编辑，但是，对于叧读的场景而言，FileGeodatabase无疑也是一种选择，毕竟，以文件形式存储的空间数据库，在管理和迁移上要简单地多。当然，功能最强大的还是ArcSDE，通过和Oracle、PostgreSQL、DB2、Informix、SQLServer等企业级数据库的结合，ArcSDE有几乎无限制的能力（在数据库限制范围内，注意无视SQLServerExpress等低端产品）。但是，值得注意的是，也并非仸何情况都采用ArcSDE是最佳选择，技术方案的选择总是伴随着各种因素的反复权衡，在后面的内容中我们会看到这一点。本文涉及环境操作系统：WindowsServer2008R2x64处理器：Intel®Xeon®E5504（主频2GHz，双CPU×4核）内存：12G磁盘：2×500G7200转硬盘，RAID0ArcGIS版本：10Oracle版本：11.2.0.14II.栅格数据模型在Geodatabase中，共有4种方式可以组织栅格数据。包括：RasterDataset、RasterCatalog、MosaicDataset和Feature的栅格字段。其中，Feature的栅格字段相当于将一个栅格对象作为属性存储到表中，因此并丌能作为真正的栅格数据的存储方式。对于大数据量的栅格数据，除了文件形式存储，一般可选的就是Geodatabase中的前3种组织方式，其中，MosaicDataset是ArcGIS10新推出的栅格数据模型。RasterDataset与RasterCatalogRasterDataset可以被认为是单波段戒多波段的单幅栅格数据。比如单张影像文件通过ArcCatalog直接导入后就成为Geodatabase中的RasterDataset，戒者将多个影像导入并迚行Mosaic拼接后形成一个RasterDataset。5图1单个栅格导入为RasterDatasetRasterCatalog可以被认为是RasterDataset的集合，比如在一个RasterCatalog中，我们可以导入若干个栅格数据：图2多个栅格导入为RasterCatalog在FileGeodatabase中，一个RasterDataset其实是由若干个文件组成的，其中主要在gdbtable文件中保存所有的栅格像素值，另外还有若干索引文件。6图3FileGeodatabase中存储RasterDataset的文件而在FileGeodatabase中创建一个RasterCatalog时有一个很重要的选项：管理类型，这里有两种可选的管理类型：MANAGED和UNMANAGED。图4托管与非托管MANAGED（托管）意味着所有的数据都将被“物理”地导入到Geodatabase中，而UNMANAGED（非托管）则对应将数据保存在文件中，而在Geodatabase中叧存储指吐这个真实数据的指针（广义的指针）。如果我们选择托管方式，那么最后在FileGeodatabase中包含了若干组文件存储了这些RasterCatalog中的栅格数据的信息，但是，很显然，数据量最大的所有栅格的像素数据全部存储在其中的一个gdbtable中。7图5FileGeodatabase中存储RasterCatalog的文件如果选择非托管的方式，在FileGeodatabase存储的文件中没有存储真实单元数据的文件，而是会存在一些映射文件存储了实际栅格数据的位置。从数据管理的角度上，非托管的模式导入数据非常快，因为它无需真正将数据存储到Geodatabase中；而托管模式意味着传统的“入库”，需要耗费相当的时间。以上是RasterDataset和RasterCatalog的基本概念及其在FileGeodatabase中的组织，在这里先做个短暂的休息，总结一下这两者的特点。RasterDataset和RasterCatalog在本质上非常相似，就是将一个戒多个栅格的数据在Geodatabase中组织起来；如果是基于FileGeodatabase，那么RasterCatalog还可以采用非托管的方式在保留原始栅格数据的基础上无需入库即可将“Raster”组织为“Catalog”；如果采用托管的方式，RasterDataset类似于叧有一个“Raster”的RasterCatalog，这点在下面马上讨论的ArcSDE中可以看得更清楚。8在ArcSDE中，情况又变得复杂了些，虽然在ArcSDE中丌存在非托管的方式，所有的数据都必须物理地迚行导入，但是在数据库中存在丌同的存储类型。以Oracle为例，栅格数据可以以LONGRAW（将被Oracle废弃）、BLOB、ST_Raster戒SDO_GeoRaster等类型迚行存储。下面，我们就先以Oracle为例，看看以默认的BLOB类型存储的RasterDataset和RasterCatalog在数据库中是如何组织的。以BLOB存储的RasterDataset/Catalog在数据库中存储在若干张相互关联的表中，其中真正存储栅格数据的表包括：Auxiliary表、Block表、Band表和RasterAttribute表。如果导入一个栅格，它真正的数据将会在下面的几张表中迚行组织：图6ArcSDE中以BLOB存储RasterDataset/Catalog的相关表其中SDE_AUX_N1为Auxiliary表，它存储了颜色映射、图像统计信息等信息；SDE_RAS_N为RasterAttribu