08高光谱特征选择

武汉大学龚龑《高光谱遥感》1第2节高光谱特征选择武汉大学遥感信息工程学院龚龑《高光谱遥感》第四章高光谱数据处理武汉大学龚龑《高光谱遥感》2一、高光谱特征选择概述二、基于可分性准则的波段选择三、基于光谱特征位置的波段选择四、高光谱波段选择方法实例第四章第2节高光谱特征选择武汉大学龚龑《高光谱遥感》3通过对数据的评价，从若干个特征（波段）中挑选出用于高光谱遥感影像分析（分类）的有限个特征（波段）。一、高光谱特征选择概述1.1特征选择概念武汉大学龚龑《高光谱遥感》4•目视法•数值法通过目视判读衡量影像质量通过定量评估衡量影像质量1.2特征选择类型基于可分性准则的波段选择基于光谱特征位置搜索的波段选择基于统计计算，从分类角度出发基于特定地物，从波谱空间出发一、高光谱特征选择概述武汉大学龚龑《高光谱遥感》5一、高光谱特征选择概述二、基于可分性准则的波段选择三、基于光谱特征位置的波段选择四、高光谱波段选择方法实例第四章第2节高光谱特征选择武汉大学龚龑《高光谱遥感》6从所有波段中选择一个波段子集，由该子集构成特征空间，在该特征空间中，各类别的光谱可分性在某一判据下达到最优。二、基于可分性准则的波段选择2.1主要思想武汉大学龚龑《高光谱遥感》7()()SS设为评价特征子集S对于感兴趣条件的性能指标。特征选择问题归结为在特征空间中搜索最优或次优子集使得具有最佳性能。•可分性判据•类别样本1.选出波段子集后2.波段子集的产生方式由搜索策略决定2.1主要思想二、基于可分性准则的波段选择武汉大学龚龑《高光谱遥感》8•穷举搜索法•启发式搜索•随机搜索法2.2特征选择搜索方法类型二、基于可分性准则的波段选择武汉大学龚龑《高光谱遥感》91.穷举搜索法通过穷举搜索，评价各个可能的特征子集的性能指标，找到其中最优的子集。12......21innnnnnnCCCC若有个波段，所有可能的波段子集数目为2.2特征选择搜索方法类型二、基于可分性准则的波段选择武汉大学龚龑《高光谱遥感》10•方法直接，不会漏掉任一种可能子集。•运算量巨大，随波段数增多凸显效率问题。特点2.2特征选择搜索方法类型1.穷举搜索法二、基于可分性准则的波段选择武汉大学龚龑《高光谱遥感》11鉴于穷举法的低效率问题，研究人员提出了启发式搜索。•前向选择（ForwardSelection）•后向选择（BackwardSelection）2.2特征选择搜索方法类型2.启发式搜索二、基于可分性准则的波段选择武汉大学龚龑《高光谱遥感》12•前向选择波段子集待选波段集合•波段子集初始状态为空•一次入选一个波段(该波段在当前剩余特征中最能提高可分性)评价因子（可分性判据）2.启发式搜索2.2特征选择搜索方法类型二、基于可分性准则的波段选择武汉大学龚龑《高光谱遥感》13波段子集被排除的波段集•波段子集初始状态包含所有特征•一次淘汰一个波段(该波段在当前被选中波段中最能降低可分性)评价因子（可分性判据）•后向选择2.启发式搜索2.2特征选择搜索方法类型二、基于可分性准则的波段选择武汉大学龚龑《高光谱遥感》14前向选择与后向选择能否一定得到最具可分性的波段子集？2.启发式搜索2.2特征选择搜索方法类型二、基于可分性准则的波段选择武汉大学龚龑《高光谱遥感》15前向选择与后向选择均能保证当前被选择波段子集在每一阶段最优，但面对那些复杂的、相互影响的波段，却不能保证所挑选的波段子集是全局最佳。波段子集21234可分性判据所选波段数目波段子集12.2特征选择搜索方法类型2.启发式搜索二、基于可分性准则的波段选择武汉大学龚龑《高光谱遥感》16随机搜索法采用随机的或概率性的步骤或采样过程。例如：•基于种群的启发式搜索技术（遗传算法）•规则推理系统2.2特征选择搜索方法类型3.随机搜索法二、基于可分性准则的波段选择武汉大学龚龑《高光谱遥感》17•分类器的学习算法分类器在进行分类之前，需要利用一定的样本信息进行样本训练，使其形成分类判断标准，这一过程也称分类器的学习。样本1类别属性特征1数值特征2数值……特征n数值样本2……样本k分类器形成分类标准特征1数值特征2数值……特征n数值类别属性2.2特征选择搜索方法类型3.随机搜索法二、基于可分性准则的波段选择武汉大学龚龑《高光谱遥感》18•滤波器类型和包装袋类型根据特征选择算法是否独立于分类器的学习算法，可将其分为两种：滤波器类型和包装袋类型。2.2特征选择搜索方法类型3.随机搜索法二、基于可分性准则的波段选择武汉大学龚龑《高光谱遥感》19形成分类标准的同时选择出波段子集先选择出波段子集，再形成分类标准滤波器类型包装袋类型所有特征特征选择学习算法分类与性能评价所有特征产生特征子集学习算法分类与性能评价特征学习特征评估2.2特征选择搜索方法类型3.随机搜索法二、基于可分性准则的波段选择武汉大学龚龑《高光谱遥感》20选择多类别可分性特征时，一般有两个策略：•选择各类平均可分性最大的特征•选择对最难区分的类别具有最大可分性的特征难以照顾到分布比较集中的类可能会漏掉对各模式具有最大可分性的特征2.3使用可分性准则的策略二、基于可分性准则的波段选择武汉大学龚龑《高光谱遥感》21特征选择概念特征选择搜索方法•穷举搜索法•启发式搜索(前向搜素和后向搜索)•随机搜索法使用可分性准则小结武汉大学龚龑《高光谱遥感》22一、高光谱特征选择概述二、基于可分性准则的波段选择三、基于光谱特征位置的波段选择四、高光谱波段选择方法实例第四章第2节高光谱特征选择武汉大学龚龑《高光谱遥感》23利用光谱位置搜索最常用的方法就是利用地物的波段吸收特性进行波段选择。•具有地物波谱特征的先验知识•波段选择针对特定目的（生物物理化学特性分析或特定类别区分）•通常进行包络线去除三、基于光谱特征位置的波段选择武汉大学龚龑《高光谱遥感》24包络线去除后的光谱曲线图三、基于光谱特征位置的波段选择•利用波段吸收特性武汉大学龚龑《高光谱遥感》25一、高光谱特征选择概述二、基于可分性准则的波段选择三、基于光谱特征位置的波段选择四、高光谱波段选择方法实例第四章第2节高光谱特征选择武汉大学龚龑《高光谱遥感》26•联合熵第i波段影像的熵值三个波段的影像(i1,i2,i3)的联合熵四、高光谱特征选择方法实例4.1自动子空间划分法一般来说联合熵H(i1,i1,i3)越大,图像所含信息越丰富。对所有可能的波段组合计算其联合熵,并按从大到小的顺序进行排序,则联合熵最大的前面若干个就是最佳波段组合。武汉大学龚龑《高光谱遥感》27•联合熵波段选择的结果,使波段容易聚集在某一连续的波段间;•由于高光谱遥感数据的波段信息之间的强相关性,使得多种波段组合方式具有相同的联合熵。原因：波段间灰度接近，变化连续•联合熵四、高光谱特征选择方法实例4.1自动子空间划分法武汉大学龚龑《高光谱遥感》28解决上述问题的思路就是将全部波段划分为若干个子空间,然后再进行波段选择。将波段划分为若干子空间的方法很多,最常见的是将波段按电磁波波长范围划分为若干子空间。然而这种机械的划分方法没有考虑到地物的光谱特征和影像的局部特征,因而不可取。•联合熵四、高光谱特征选择方法实例4.1自动子空间划分法武汉大学龚龑《高光谱遥感》29依据高光谱影像相关系数矩阵灰度图的“成块”特点,根据高光谱影像相邻波段相关系数的大小,把波段划分为若干个子空间,然后分别在各个子空间内利用联合熵算法进行波段的选择。•自动子空间划分思路四、高光谱特征选择方法实例4.1自动子空间划分法武汉大学龚龑《高光谱遥感》30A.数据情况采用OMIS高光谱影像数据,波段数为64个。要求生成伪彩色图。四、高光谱特征选择方法实例4.1自动子空间划分法•操作实践过程B.计算相关矩阵依据自动子空间划分思想,计算高光谱所有波段数据之间的相关矩阵,该相关矩阵包含64×64个元素。武汉大学龚龑《高光谱遥感》31为了更清晰地分析波段间的相互关系,把第1波段与各个波段间相关系数及近邻波段相关系数曲线绘出,如图所示,其中曲线①为第1波段与各个波段间相关系数曲线,曲线②为近邻波段相关系数曲线。四、高光谱特征选择方法实例4.1自动子空间划分法•操作实践过程武汉大学龚龑《高光谱遥感》32C.子空间划分根据相关系数灰度图的分块特征,将所有波段分成四个子空间:第Ⅰ空间:1~12,第Ⅱ空间:13~22,第Ⅲ空间:23~56,第Ⅳ空间:57~64。4.1自动子空间划分法•操作实践过程四、高光谱特征选择方法实例经过划分得到的不同子空间具有不同的维数,在每个子空间内的图像数据具有相近的光谱特性。武汉大学龚龑《高光谱遥感》33D.子空间内的波段选择在各个子空间内,根据信息熵大小选出能够代表该子空间的波段各一个第Ⅰ空间:12第Ⅱ空间:20第Ⅲ空间:24第Ⅳ空间:634.1自动子空间划分法•操作实践过程四、高光谱特征选择方法实例E.整体波段选择对各个子空间所选出的代表波段,计算三个波段之间的联合熵，选出最优的波段组合。武汉大学龚龑《高光谱遥感》34•全局最优和局部最优问题•混合搜索策略•全局搜索阶段•局部搜索阶段四、高光谱特征选择方法实例4.2混合随机搜索波段选择(遗传算法+局部寻优)武汉大学龚龑《高光谱遥感》35J2J1?在给定起始位置的条件下，按照某种判据寻找下一个更优位置4.2混合随机搜索波段选择•局部最优和全局最优问题四、高光谱特征选择方法实例搜索武汉大学龚龑《高光谱遥感》36前向选择和后向选择容易陷入局部最优值思考：穷举搜索法会不会陷入局部最优？局部最优：一个矮山峰的山顶全局最优：最高的山峰的山顶对高光谱数据来讲穷举搜索法不可取4.2混合随机搜索波段选择•局部最优和全局最优问题四、高光谱特征选择方法实例武汉大学龚龑《高光谱遥感》37找到全局较大值位置P，避免陷入局部极小值在位置P附近，进行局部邻域搜索找到极大值4.2混合随机搜索波段选择•混合搜索策略四、高光谱特征选择方法实例a.全局粗略搜索b.局部邻域搜索•全局搜索尽可能涉及更多的波段组合形式•局部搜索尽可能细致的找到极大值位置跨度大跨度小武汉大学龚龑《高光谱遥感》38采用遗传算法进行染色体生物进化选择交叉变异码串自然选择过程4.2混合随机搜索波段选择•全局粗略搜索阶段四、高光谱特征选择方法实例武汉大学龚龑《高光谱遥感》39染色体生物进化选择交叉变异自然选择过程码串波段选择码串筛选码串交叉码串变化波段组合性能评估码串怎么定义？4.2混合随机搜索波段选择•全局粗略搜索阶段四、高光谱特征选择方法实例武汉大学龚龑《高光谱遥感》40从n个波段中，选择出m个构成波段组合波段选择的码串：b=(0,0,1,0,1,…1,1,0,0)b中有n各分量，其中m个为1，n-m个为0为1，表示该波段被选择为0，表示该波段被舍弃波段选择问题转化为最佳码串求取问题4.2混合随机搜索波段选择•全局粗略搜索阶段四、高光谱特征选择方法实例武汉大学龚龑《高光谱遥感》41随机选择若干个（20-100）码串，构成码串集合B={b1,b2,…bk}利用选择、交叉算子，迭代更新码串集合B对码串集合B中的每个码串bi，计算bi对应的波段组合的性能评估函数（可分性判据）J={J1,J2,…Jk}输出Jp最大值对应的的码串bp得到波段选择方案全局粗略搜索步骤4.2混合随机搜索波段选择•全局粗略搜索阶段四、高光谱特征选择方法实例武汉大学龚龑《高光谱遥感》42对全局搜索结果码串bp=(0,0,1,0,1,…,1)进行邻域搜索。如何体现邻域？已到达需要爬的山脚下，如何爬山？四、高光谱特征选择方法实例4.2混合随机搜索波段选择•局部搜索阶段武汉大学龚龑《高光谱遥感》434.2混合随机搜索波段选择•局部搜索阶段四、高光谱特征选择方法实例每一次调换码串bp=(0,0,1,0,1,…,1)中的一对分量，即0变1，1变0，计算变换后的波段类别可分性判据。[共有m(n-m)种可能]码串空间的邻域可分性判据最大的码串即对应最佳波段组合武汉大学龚龑《高光谱遥感》44•流程四、高光谱特征选择方法实例4.2混合随机搜索波段选择武汉大学龚龑《高光谱遥感》45