第五节-误差与精度评价

第五节误差与精度评价一、误差及其来源任何分类都会产生不同程度的误差。分析误差的来源和特征既是对分类过程的检验，也是改进分类方法的主要前提。分类误差主要有两类，一类是位置误差，即各类别边界的不准确；另一类是属性误差，即类别识别错误。分类误差的来源很多，遥感成像过程、图像处理过程、分类过程以及地表特征等都会产生不同程度和不同类型的误差。遥感成像过程中，遥感平台翻滚、俯仰和偏航等姿态的不稳定会造成图像的几何畸变；传感器本身性能和工作状态也有可能造成几何畸变或辐射畸变；大气中的雾、霾、灰尘等杂质必然造成图像中的辐射误差；地形的起伏会使图像中产生像点位移造成几何畸变；坡度也会影响地表的接受的辐射和反射水平，造成辐射误差。遥感图像分类前，一般都要进行辐射校正、几何校正、研究区的拼接与裁切等预处理。在这些图像处理过程中，由于模型的不完善或控制点选取不准确等人为因素的影响，处理后的图像中仍然可能存在残留的几何畸变和辐射畸变。此外，几何校正中像元亮度的重采样所造成的信息丢失是无法避免的，对分类结果也将产生一定影响。地表各种地物的特征直接影响分类的精度。一般来说，地表景观结构越简单，越容易获得较高的分类精度，而类别复杂、破碎的地表景观则容易产生较大的分类误差。因此，各类别之间的差异性和对比度对分类精度有显著影响。图像分类过程中，分类方法、各种参数的选择、训练样本的提取，分类时所采用的分类系统与数据资料的匹配程度也会影响分类结果。不论是采用何种算法模型，目前还没有任何一种方法堪称完美，其分类结果中都会出现错分的现象。遥感图像的空间分辨率、光谱分辨率和辐射分辨率的高低也是影响分类精度的重要因素。有些分类结果精度不高，不是分类方法的问题，而是直接受制于图像本身的特征。上述各个环节所产生的误差，最终都有可能累积并传递到分类结果中，形成分类误差。因此，分类误差是一种综合误差，很难把它们区分开来。分析发现，分类误差在图像中并不是随机分布的，而是与某些地物类别的分布相关联，从而呈现出一定的系统性和规律性。了解和分析分类误差产生的原因和分布特征，对分类结果的修订或分类方法的改进都具有重要意义。二、精度评价的方法遥感图像分类精度的评价是把分类结果与检验数据进行比较以得到分类效果的过程。精度评价中所使用的检验数据可以来自于实地调查数据或参考图像。参考图像包括分类的训练样本、更高空间分辨率的遥感图像或其目视解译结果和具有较高比例尺的地形图、专题地图等。实际工作中，检验数据往往以参考图像为主，实地调查数据为辅。精度评价最好是比较分类图和参考图像上所有像元之间的一致性，但这种做法往往是不现实的，也是无意义的。因此，精度评价一般都是通过采样的方法来完成的，即从检验数据中选择一定数量的样本，通过样本与分类结果的符合程度来确定分类的准确度。（一）采样方法这里所说的采样方法是指从检验数据中选择样本的方法。精度评价有多种采样方法，具体采用哪种方法，应根据研究目标来确定。常用的概率采样方法包括简单随机采样、分层采样和系统采样等（图8.21）。1、简单随机采样简单随机采样是指在分类图上随机选择一定数量的像元，然后比较这些像元的类别与其对应的检验数据之间的一致性。该方法对样本空间中的所有单元来说，被选中的概率都是相同的。如果区域内各种地物类别的分布均匀，且面积差异不大，简单随机采样应该是一种理想的采样方法。2、分层采样分层采样是指分别对每个类别进行随机采样。该方法克服了简单随机采样的不足，保证了在采样空间或类型选取上的均匀性及代表性，使每个类别都能在采样中出现。分层的依据可因精度评价的目标而不同。常用的分层有地理区、自然生态区、行政区域和分类后的类别等。在每层内采样的方式可以是随机的，也可以是系统的。3、系统采样系统采样是指按照某种确定的间隔或规则进行采样的一种方法。该方法简单易行，但其固有的周期性及其存在的规则间隔性，可能造成以某些样本数采样时，即便方差很小，但均值仍然会偏离真值较大，从而使评价存在较大偏差。图8.21几种采样方法示意图（二）样本容量样本容量（SampleSize）又称样本数，指样本必须达到的最少数目，是保证样本具有充分代表性的基本前提。样本容量可通过统计方法来计算，如百分率样本容量、基于多项式分布的样本容量等。百分率样本容量的计算方法为22)(EpqZN（8-18）式中：N为样本容量；Z为标准误差的置信水平，一般取2，表示1.96的标准正态误差和95%的双侧置信度；p是期望百分比精度（这里的精度指的是评价结果的精度，而非图像的分类精度）；q=100−p；E表示容许误差。根据公式可知，期望精度（p）越低，允许误差（E）越大，则用来估算分类精度所需的检验样本就越少。如期望精度为85%，允许误差为5%，根据公式（8-18）可算出样本容量为203，即至少选取203个样本；当允许误差放宽到10%时，51个样本就可以满足要求。基于多项式分布的样本容量计算方法为2)(1iiib-WBWN（8-19）式中：N为样本容量；Wi为所有k个类别中面积比例最接近50%的第i类的面积比例；bi为该类的容许误差；B为自由度为1且服从x2分布的（b/k）×百分位数，可以从自由度为1的x2分布表查得；k是总分类数。假如一幅图像共分为8个类，类Wi约占总面积的30%且其面积百分比最接近50%，要求置信度为95%，容许误差为5%。可算出样本容量为636，每个类别大约需要80个样本。如果无法知道任意一个类别所占的面积比例，在公式（8-19）中可假设其中一种类型的面积比例为50%，这样可以计算出一个比已知面积比例的情况下更大的样本容量。在有些情况下，95%的置信度是不现实的，或者由于各种原因，很难获得样本容量所规定的样本数。因此，实际工作中要合理权衡理论上的样本容量与实际能够获取的样本数之间的关系，依据各类在研究中的重要性或各类的复杂程度适当调整样本容量。（三）混淆矩阵与精度指标样本是分类精度评价的基本单元。在获取了可靠的样本数据之后，便需要确定精度评价的方法与精度指标。目前最常用的精度评价方法是混淆矩阵法，即通过混淆矩阵计算各种统计量并构建精度评价指标，最终给出分类的精度值。1、混淆矩阵混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式。误差矩阵是n行n列的矩阵，一般可用表8.2的形式来表示。表中n代表类别的数量，P代表样本总数，Pij是分类数据类型中第ｉ类和参考图像第j类所占所占的组成成分。ppnjiji1，为分类所得到的第i类的总和；ppniijj1，为检验数据中第j类的总和。表8.2混淆矩阵的基本形式分类数据类型12……n总和检验数据类型1p11p21……pn1p+12p12p22……pn2p+2……………………………………nP1nP2n……pnnp+n总和P1+p2+……pn+P表8.3是在沙漠化地区土地利用/覆盖分类研究中构建的混淆矩阵。矩阵的左边（y轴）代表的是参考图像上的类别，上部（x轴）代表的是要评价图像上的类别。精度评价时采用简单随机采样的方法采集了765个训练样本。以绿洲为例，在参考图像中有123个绿洲像元，其中102个被识别出来，其余21个像元均被错误地分类成其他类型，但参考图像上同时又有9个其他类型的像元被误分成了绿洲。显然，误差矩阵中对角线上列出的是被正确分类的像元数量。表8.3混淆矩阵实例被评价的分类图像戈壁流沙地平沙地绿洲干湖盆水体总和参考图像戈壁26130000264流沙地501921600249平沙地667530090绿洲123010206123干湖盆40209015水体300002124总和336204781119277652、基本的精度指标根据混淆矩阵可以设计出三种基本的精度评价指标，即总体精度、用户精度和制图精度。这些精度指标从不同的侧面描述了分类精度，是简便易行并具有统计意义的评价指标。（1）总体分类精度（OverallAccuracy）：表述的是对每一个随机样本，所分类的结果与检验数据类型相一致的概率。表示为/NPpnkkkc1（8-20）（2）用户精度（User’sAccuracy）：指从分类结果中任取一个随机样本，其所具有的类型与地面实际类型相同的条件概率。表示为iiiupppi/（8-21）（3）制图精度（Producer’sAccuracy）：表示相对于检验数据中的任意一个随机样本，分类图上同一地点的分类结果与其相一致的条件概率。表示为jjjApppj/（8-22）与上述精度指标相关的还有漏分误差和错分误差。漏分误差是指对于参考图像上的某种类型，被错分为其他不同类型的概率，即实际的某一类地物有多少被错误地分到其他类别。而错分误差是指对于分类图像上的某一类型，它与参考图像类型不同的概率，即图像中被划为某一类地物实际上有多少应该是别的类别。漏分误差与制图精度相对应，可用于判断分类方法的优劣；错分误差与用户精度相对应，从检验数据的角度判断了各类别分类的可靠性.。表8.4为根据上面的实例计算出来的三种精度值。表8.4分类精度计算实例制图精度漏分误差用户精度错分误差戈壁261/264=98.86%1.14%261/336=77.68%22.32%流沙地192/249=77.11%22.89%192/204=94.11%5.89%平沙地75/90=83.33%16.67%75/78=96.15%3.85%绿洲102/123=82.92%17.08%102/111=91.89%8.11%干湖盆9/15=60.00%40.00%9/9=100%0.00%水体21/24=87.50%12.50%21/27=77.78%22.22%总体精度=（261+192+75+102+9+21）/765=86.27%（四）Kappa分析Kappa系数是一种对遥感图像的分类精度和误差矩阵进行评价的多元离散方法，该方法摒弃了基于正态分布的统计方法，认为遥感数据是离散的、呈多项式分布的，在统计过程中综合考虑了矩阵中的所有因素，因而更具实用性。其计算方法为niiininiiiiixxNxxxNKappa1211)()(-（8-23）式中：N为所有样本的总数；n为矩阵行数，一般等于分类的类数；xii指位于第i行、第i列的样本数，即被正确分类的像元数；xi+和x+i分别是第i行、第i列的总像元数。将表8.3中的相关数据代入公式（8-23），计算出的Kappa系数为0.81，即81.0)24271591231119078249204264336(－576)24271591231119078249204264336(21)910275192(2615762Kappa总体分类精度只考虑了对角线方向上被正确分类的像元数，而Kappa系数则同时考虑了对角线以外的各种漏分和错分像元。因此，总体分类精度和Kappa系数往往并不一致。当Kappa系数的值大于0.80时，意味着分类数据和检验数据的一致性较高，即分类精度较高；当Kappa系数的值介于0.40~0.80时，表示精度一般；当Kappa系数的值小于0.40时意味着分类精度较差。通常在精度评价中，应同时计算以上各种精度指标，以便尽可能得到更多的分类精度信息。