Gabor滤波器及其应用

1特征提取特征提取//选择及其应用选择及其应用主讲：金连文[e-mail]第5讲数字信号处理DigitalSignalProcessing2本讲主要内容ƒ特征提取简介ƒGabor特征简介¾正交变换及小波变换¾Gabor变换¾2DGabor滤波器ƒ特征选择/变换(PCA&LDA)ƒ2DGabor滤波器的应用¾人脸识别¾人脸表情识别¾汉字识别3一、特征提取简介4特征提取简介ƒ特征¾任一客体都具有众多特性，人们根据一群客体所共有的特性形成某一概念。这些共同特性在心理上的反映，称为该概念的特征。——百度百科¾某事物所特有的性质；特殊的品性、品质ƒ共同性（同类），区分性（不同类）？四只脚，有靠背，有椅面，四只脚支撑椅面，……5特征提取简介ƒ在分类问题中：¾一个“理想的”特征就是一种表达，这种表达要尽可能的使后继的分类器工作变得稀松平常——模式分类ƒ与分类问题相关ƒ研究对象的属性的子集，是分类问题的决定性因素ƒ降维：全部属性Æ与分类问题相关的属性(全部属性的一个子集)ƒ好的特征尽可能使后续的分类器的工作变得非常容易¾同类间的特征值非常相近，不同类的差异很大6特征提取简介ƒWhy?¾对样本用数值及计算机语言进行描述（共同性区分性）ƒ整个模式分类中的最基本也是最重要的部分ƒ良好的特征对于整个模式分类系统至关重要ƒ例子：寻找上页图中的椅子的特征：¾(1)四只脚：（猪，牛，羊，……）。——无区分性¾(2)有扶手：——无共同性，有些椅子不具备这个性质¾将高维数据Æ低维数据ƒ例子：见左边的图像，最直接的特征：每个像素点的位置和颜色值作为该样本的特征，320*240的彩色图像的维数为：320*240*3=230400维，——计算量巨大，维灾难。如用后面提到的Gabor特征可以仅提取512维，并且性能更好。7特征提取简介ƒExample（EnjoySport）¾分类任务：EnjoySportORNOTEnjoySport¾特征：与分类任务相关，使后续分类尽可能容易ƒHeight,HairColor,Gender,Weight……¾跟分类任务无关，如选择它们，后面的分类器几乎无法工作ƒSky,AirTemp,Humidity,Wind,Water,Forecast¾根分类的任务有关，是决定是否去运动的决定性因素ƒGoodFeature:¾同类间差别小，不同类间差别大——鉴别信息¾最大限度的简化后继的分类器的工作ƒ对于EnjoySport，假如存在这样一个特征：女朋友的喜好，分类器仅仅凭借这个特征的取值就可以正确的判断是否去运动，显然这个特征是最好的特征，后续的分类器只需要简单判断这个值的取值就可以得出正确的判断8特征提取的思路ƒ时域、频域、时频联合¾能量、相关系数，FFT，DCT,Wavelet,Gaborƒ统计、结构、混合（Hybrid）¾直方图、属性-关系图ƒ底层、中层、高层¾颜色、形状、纹理，梯度，语义ƒ模型¾AR、LPC，MFC¾…..等ƒ特征提取的“没有免费午餐”定律？9特征提取及模式分类人脑对自然物体的模式识别过程x1x2xnFx()cxX()=X自然物体该物体的样本黑箱式映射物体识别知识库10特征提取及模式分类(Cont)ƒ计算机实现的模式识别过程x1x2xnRx()cxX()=X自然物体该物体的样本模式识别知识库fx()1fx()2fxn()模式：以特征表示的样本可表达的映射11特征提取及模式分类ƒ特征提取及特征表达式ML及PR起关键作用ƒ特征小结¾与后续的分类问题不是完全独立的¾是对研究对象的一种表达，是研究对象的所有属性中的一个子集，将高维空间Æ低维空间¾好的特征要具有鉴别信息的性质——同类间差异要尽可能小，不同类间差异尽可能大¾提取特征的目的是为了尽可能是后续的分类器的工作尽可能的简单12二、Gabor特征背景介绍13Gabor其人ƒDennisGABOR¾Electricalengineerandphysicist,HungarianbornEnglish¾Nobelpriceofphysicsin1971forinventingholographyƒD.Gabor还被公认为是Wavelet（小波）变换的创始人之一ƒ相关代表作¾D.Gabor.Theoryofcommunication.JournaloftheInstituteofElectricalEngineers,93:429–549,1946¾提出了ShortTimeFourierTransform(1946)14Fourier变换回顾ƒFourier变换是整体上将信号分解为不同的频率分量（任何信号都可分解为复正弦信号之和）¾对确定性信号及平稳信号适用ƒFourier变换缺乏时间的局部性信息ƒ但对时变信号、非平稳信号，Fourier频率分析存在严重不足¾无法告知某些频率成分发生在哪些时间内¾无法表示某个时刻信号频谱的分布情况¾例如：语音信号、手写文字图像信号等等15时频分析举例16-0.200.2PartieréelleSignaltemporelEchellelin.Densitéspectraled'énergie|STFT|2,Lh=50,Nf=256,Ech.Log.,Seuil=5%TempsFréquence10020030040050000.10.20.30.4GABOR时频分析举例(2)17时频分析举例(3)-0.4-0.200.2PartieréelleSignaltemporel05381076Echellelin.Densitéspectraled'énergie|STFT|2,Lh=50,Nf=256,Ech.lin.,Seuil=5%TempsFréquence10020030040050000.10.20.30.4ACCORD18三、正交变换及Wavelet变换简介19正交变换（1）ƒ设空间是由N维空间下来一组向量张成ƒ即：12{,,,}NXspanϕϕϕ=L12,,,NϕϕϕL∑==Nnnnx1ϕαƒ任一向量x都可作如下分解20正交变换（2）信号的离散表示,或信号的分解12,,,NαααL是分解系数或信号的变换系数∑==Nnnnx1ϕα由x⇒正变换由x⇒反变换12,,,NαααL12,,,NαααL21正交变换（3）ƒ正交性：1,0ijijijijϕϕδ=⎧==⎨≠⎩ƒ完备性：¾如果空间中的任一向量x都可由来分解，则称该向量是“完备（complete）”的{}iϕ22正交变换（4）ƒ正交变换举例¾FS，FT,DTFT,DFS,DFT¾DCT，DST¾DWT（DigitalWaveletTransform）23浅谈小波（Wavelet）变换ƒ波（Wave）01002003004005006007008009001000-2-1.5-1-0.500.511.52Ondesinusoïdale24浅谈小波（2）ƒ小波（Wavelet）¾Oscillatingmotherfunction,welllocalizedbothintimeandfrequency:ψ(t)25浅谈小波（3）ƒ什么是小波？¾Afamilybuiltbydilationandtranslationψ(t)ψ(t/2)ψ(t/4)26浅谈小波（4）ƒ小波基函数：ψ(t)ψ(t-20)ψ(t-40)-1-0.500.51-100-5050100t-1-0.500.51-100-5050100t-1-0.500.51-100-5050100t)(abt−ψ27WavesvswaveletsƒWaveƒFrequencyƒInfinitedurationƒNotemporallocalization•Wavelet•Scale•Duration(windowsize)•Temporallocalization28Wavelet变换ƒ对信号f(t)的小波变换定义如下：dtabttfabafTwav)()(1),(−=∫+∞∞−ψ)(1)(,abtatba−=ψψƒ小波基函数：22412)1(32)(tett−−−=πψtiteetωψπ02241)(−−−=ƒ小波基函数举例：29四、Gabor变换30信号的局部化分析311DGabor变换321DGabor变换(2)Gabor时频谱Fourier频谱33与小波变换做比较34从Fourier变换到Gabor变换ƒ加窗短时Fourier变换（WindowFouriertransformorShortTimeFourierTransform）dsetsgsxtXsjωω−+∞∞−−=∫)()(),(sjtetsgsωωψ)()(,−=ƒ定义基函数如下：ƒWhentandωvaryItconstitutesafamilywhichcanbeconsideredasakindof«basis»35从Fourier变换到Gabor变换ƒg(s)代表窗函数，可以取Hanning,Hamming,Gauss窗等等。ƒ当取Gauss窗函数时，例如：2241)(xexg−−=πdseesftfTsjgabortsωπω−−+∞∞−−−∫=22)(41)(),(ƒ所得到的变换称为Gabor变换：Gaboret窗函数复正弦36五、2维Gabor滤波器372DGabor滤波器ƒGabor滤波器的数学表达式：ƒSpacedomain:aGaussiankernelmodulatedbyasinusoidalplane-waveƒs(x,y)——complexsinusoid,thecarrierƒw(x,y)——2-DGaussian-shaped,theenvelopeabKbyaxKyxwyvxuiyxsyxwyxsyxg/1)))/()/((exp(),())(2exp(),(),(),(),(2200=+−=+×==ππ382DGabor滤波器ƒTheparameters(u,v)definethespatialfrequencyofasinusoidalplanewave,whichcanalsobeexpressedinpolarcoordinatesasradialfrequencyfandorientationθ202020vuf+=00/tanuv=θθθsincos0000fvfu==39GraphicsforcomplexsinusoidDuetodiff.Duetodiff.orientationorientationθθDuetodiff.Duetodiff.frequencyffrequencyfRealimaginaryRealimaginary40Projectionofthesinusoidto2Dplane41Gaborfilter(3)ƒGaussianenvelopecanberewrittenby:)))()((exp(),(220220byyaxxKyxwrr−+−−=πββsin)(cos)()(000yyxxxxr−+−=−ββcos)(sin)()(000yyxxyyr−+−−=−),(00yx•a,b:standarddeviationsoftheellipticalGaussianalongx-axesandy-axes•KiscoefficientofGaussianenvelope,itshouldbeequalto1/ab•rsubscriptstandsforarotationoperation•istheangleofrotationoftheenvelopeβ:thepeakofthefunction(thecenterofthereceptivefield)42GraphicsoftheGaussianenvelope43Gaborfilter(4)ƒCompelteGaborfilterform:ƒ7parametersforGaborfilter.ƒInpractical,itisusuallyassumedthat:¾a=b=1/f;¾theGaus