数据挖掘中用于分类的时序数据特征提取方法

计算机系统应用专论·综述SpecialIssue数据挖掘中适用于分类的时序数据特征提取方法①林珠1,邢延21(广东省计算中心,广州510033)2(广东工业大学自动化学院,广州510006)摘要:特征提取在提高分类的准确性中起着非常关键的作用.对时序特征提取的方法进行归纳分类,将有利于对特征提取整体性,全面性的认识.回顾现有的时间序列中特征提取的方法,将其总结为四大类,它们分别是基于基本统计方法的特征提取、基于模型的特征提取、基于变换的特征提取、基于分形维数的特征提取.针对每一类的特征提取方法,进一步研究了它相应的分类方法和它在时间序列数据中的应用邻域.关键词:时序数据;分类;特征提取SurveyofFeatureExtractionApproachesforTimeSeriesClassificationLINZhu1,XINGYan21(GuangdongComputerCenter,Guangzhou510033,China)2(GuangdongUniversityofTechnology,Guangzhou510006,China)Abstract:Themaincontributionsofthispaperare:1)Themainfeatureextractionapproachesareclassifiedintofourcategories;2)Themainideaofeachcategoryisanalyzed,theadvantagesanddisadvantagesarepointedout;3)Theguidelinesofchoosingsuitablefeatureextractionapproachissuggested.Keywords:timeseries;classification;featureextraction1引言时序数据(timeseriesdata)广泛存在于现实生活中,是指同一种现象在不同时间上的相继观察值排列而成的一组数字序列,其时间轴上的采样值通常又被称为特征[1].时序数据普遍存在于许多重要应用邻域,比如DNA序列、金融数据、传感器网络监控数据、移动对像跟踪数据、机器故障检测数据等等.由于时序数据与时间相关联,因而其数据量一般都是非常庞大的,这就对时序数据挖掘技术提出了更高的要求[2].在时序数据挖掘的研究与应用领域,时序数据分类是重要任务之一[1,2].例如,依据语音信号的波形识别出说话人的性别和年龄,依据心电图的时序波形识别出病者所患的病症,依据地震波的历史数据,去识别地震的类型,依据在机器运转过程中进行故障检测和识别故障类型,甚至在客户关系管理中根据某段时间的客户购买信息,识别不同的消费群体等等.衡量分类技术优劣的核心指标是分类准确率,而提高分类准确率途径有两种:一是改进分类器;二是采用特征提取技术(featureextraction).特征提取是在分类前对数据时间采样值上进行适量的归约,以达到减少数据量同时提高分类准确率(底线是不牺牲分类准确率)的目的.时间序列除了具有的趋势性、季节性、周期性等一般特征之外,不同的时序数据又存在不同的个别特征.如金融数据,普遍具有“高峰厚尾”和“平方序列微弱而持续的自相关”的特点;而地震波则具有强度随时序延伸而减弱的特点;语音信号幅度具有一定的范围,并以零幅和近零幅的概率高,而且长时间的语音信号会有相当多的无信号区间,即所谓的语音寂静区间;心电信号则具有很强的周期性,它的主要特征是①基金项目:广东省科技计划项目基金(2011B060500049,2010B090400545,2010A040300006)收稿时间:2012-02-06;收到修改稿时间:2012-03-042012年第21卷第10期专论·综述225低电压(0.8~1mV),小电流(12uA),重复频率低,每个波段具有各自的频率.针对时序数据的这些特征,所选择的特征提取方法应该能提取出时间序列中具有较好分类能力特征,进行特征提取后的特征矢量能够很好地代表原有的时间序列数据,这样才能取得良好的分类效果.本文对分类中常用的时序特征提取方法归纳和总结,现阶段特征提取方法主要有四类,分别是基于基本统计方法的特征提取,基于模型的特征提取,基于变换的特征提取以及基于分形理论的特征提取.针对每一类特征提取方法,本文总结了各自适用的应用领域,并提及相应的分类方法.2特征提取方法综述特征提取的方法有很多,总结起来可以归为四大类:基于基本统计方法的特征提取,基于模型的特征提取,基于变换的特征提取,基于分形维数的特征提取.通过这些特征提取后的特征矢量,能够达到较好的分类效果.2.1基于基本统计方法的特征提取基本统计方法的特征提取,就是提取数据波形的均值,方差,极值,波段,功率谱,过零点等统计特征来代表原有的时序数据作为特征矢量.时域的常见基本统计征有均值,方差,极值,过零点,边界点[3],波段的长短峰值等,而频域的基本统计方法有功率谱,功率密度比,中值频率,平均功率频率等.在肌电信号(EMG)数据中,常采用的时序统计特征为过零点数,积分肌电值,方差等,而频域中则常采用EMG功率谱的平均功率频率和中值频率[4].ECG中则常提取它的R－R间隔均值、熵值、变化值、功率谱密度等,而脑电信号(EEG)则常提取它的峰值,熵值[5],非线性能量等[6],或是提取QRS波的峰值、波长等,QT间隔,ST间隔等统计特征[6,7].基于统计特征提取后的特征矢量,可采用线性判别式构造分类器;也可采用神经网络进行分类,此时可达到较好效果[7,8].它适用于信号波形的统计特征比较明显的时间序列数据,如EEG信号、ECG信号等医学数据.2.2基于模型的特征提取基于模型的特征提取,是指用模型去刻画时间序列数据,然后提取模型的系数作为特征矢量去进行分类.对于平稳时间序列,可用通用ARMA模型(自回归滑动平均模型)及其特殊情况的自回归模型、滑动平均模型(MA)或组合-ARMA模型等来进行拟合.对于非平稳时间序列则要先将观测到的时间序列进行差分运算,化为平稳时间序列,再用适当模型去拟合这个差分序列.当然,不同的时序数据都会有比较适合它的模型去进行特征提取.如对于ECG数据,通常采用AR模型进行特征提取,而相对应的MAR模型则用于多通道的ECG数据中[9-11].AR模型是一个线性的,二阶矩平稳模型,比较适合短数据分析,不仅在ECG数据中具有优势,在肌电信号(EMG)中也是如此.Graupe在研究用肌电信号进行动作识别时,已证实了AR模型比ARMA模型更具优势.近年来的研究也表明,用AR模型进行特征提取时,识别率是非常之高[4].而对于金融时序数据,常用的多元线性回归和ARMA模型等都不再适合,针对金融市场的价格波动聚集现象,应采用ARCH模型(自回归条件异方差族计量模型)[12];而采用SVAR(结构向量自回归)模型更加适合刻画金融数据中常出现的“高峰厚尾”和“弱自相关”现象[13].选择合适的模型进行特征提取,产生的模型系数作为特征矢量.针对这类特征矢量,往往采用简单的判别函数即可达到理想的分类效果.最常用的当属二次判别函数(QDF)[9,10].有时也用到最大似然的判断规则进行分类[14].2.3基于变换的特征提取通过变换的手段,使适合分类的特性突显出来,也是经常用到的特征提取方法.变换包括时频变换和线性变换.时频变换中具有代表性的方法是快速傅立叶变换、短时傅立叶变换、倒谱系数等.而线性变换,主要有PCA、ICA、SVD、线性判别式分析、要素分析、映射等等.其中最有代表性的是PCA和K－L变换,还有著名的小波变换、小波包技术.2.3.1基于时频变换的特征提取时频变换是将信号从时域变换到频域的一种手段.时间序列数据在特征提取中常采用傅立叶变换、倒谱系数等时频变换方法.傅里叶变换是将时域的信号变换成频域的信号,它是把时域的信号变换成由频率,幅值和相位的正弦波的组合.将时序数据进行傅立叶变换,然后选择它的系数作为特征矢量,若选择前面的系数,则代表了信号的低频特性,选择较大的系数,则代表了信号计算机系统应用专论·综述SpecialIssue的能量特征[15].在心电信号QRS波识别中用DFT有效进行降维和提取特征,然后用神经网络进行分类,其敏感度可高达98％[16].在股市中应用傅立叶变换与反变换,可以有效去除噪声和进行数据约简[17];亦可通过傅立叶变换求取功率谱,来表征时序数据的统计特征[18].为了减少傅立叶变换的运算量,可运用快速傅立叶变换算法,它利用DFT系数的对称性,周期性和可约性等性质将长序列的DFT分解为若干个短序列的DFT运算,其中,最常用的是FFT的表达形式是按时间抽取的基2FFT算法,然后提取频率系数作为特征矢量[16].短时傅立叶变换(Short-TimeFourierTransform,STFT)建立在传统的傅立叶变换基础之上.其基本思想是将信号s(t)用窗函数w(t)截断,并让该窗函数沿着信号滑动,于是分为一个个短时信号,并对这些短时信号分别进行快速傅立叶变换进行频谱分析,从而能更精确地观察出信号的频谱变化情况.窗函数的长短选择决定了时频特征体现的强弱(窗较宽时频域性较强,时域性较弱)[19].特征提取还经常用到倒谱系数也作为信号的特征矢量.倒谱分析又称为二次频谱分析,它分为实倒频谱和复倒频谱.其中实倒谱又为功率倒频谱,它是先将时序信号进行离散傅立叶变换,然后取自然对数,再实行离散傅立叶反变换.复倒谱是将时序信号通过Z变换以后取对数,再求反Z变换而得到的.倒谱系数应用最广泛的领域是在语音信号中[20-23],包含梅尔倒谱和线性预测倒谱,其识别效果优于其它特征提取方法,其中梅尔倒谱又要优于线性倒谱[24].针对倒谱提取出来的特征矢量,语音信号常用HMM模型进行分类识别.2.3.2基于线性变换的特征提取线性变换中有很多特征提取方法颇为经典,特别是PCA和小波变换.PCA为主成分分析,它与独立成分分析ICA,K－L变换,奇异值分解极为相似,有殊途同归的效果,在数据降维中都经常用到.研究表明,利用PCA变换可以在信息损失最小的前提下,用较少的分量代替原来的高维数据,达到降维的效果,从而使得处理数据的时问和费用大大降低.另一方面,由于各主成分是相互垂直的,所以增大了类间距,减小了类内差异,可提高分类精度[25,26].但PCA不能解决非线性特征提取,对于非线性数据,提出了核主成分分析的观点.它是通过一个非线性映射,把输入数据映射到一个高维的特征空间,在特征空间上进行线性主成分分析[27,28],其优点是要求的数据量小,并具有很好的抗噪能力[29].应用PCA或核主成分分析进行数据降维后,往往会进一步进行特征提取,使数据进一步压缩[30,31].特别是核主成分分析,特征提取后的维数仍会很高,应进一步找寻降维的方法.用PCA进行特征提取后的特征矢量,常采用最近邻方法[32,33]、HMM模型进行分类[33],特别是采用神级网络[34,35],可达到较高的分类准确率.即使用最简单的BP网络,也有较满意的结果[36].小波变换是将信号分解到不同尺度的线性变换.基于小波变换的特征提取有多种,如提取模极大值特征,能量特征,熵特征,以及适应性小波网络的特征提取等[37].如在ECG信号的特征提取中,最常用的是基于模极大值的特征提取它蕴含了原始信号的大部分重要信息,可以将其尺度参数S,平移参数T及其幅值作为心电信号的特征量[38].小波变换在所有的时序数据中都得到广泛应用,但对于不同的时序数据进行特征提取时,应选择不同的小波基,常用的小波基有:Haar小波基,Daubechies小波基系列,Coiflets小波基系列,Symlets小波基系列,Biorthogona