时间序列的复杂度和熵

6时间序列的复杂度和熵6时间序列的复杂度和熵............................................................................................16.1引言.............................................................................................................................26.2时间序列符号化方法.................................................................................................26.3热力学熵－克劳修斯(Clausius)熵[5,6]......................................................................46.4统计熵－玻尔兹曼(Boltzmann)熵[5].........................................................................66.5信息熵－先农(Shannon)熵[5,7]..................................................................................66.6Kolmogrov熵和K2熵................................................................................................86.7非广延熵-Tsallis熵.....................................................................................................96.8近似熵－ApproximateEntropy................................................................................106.9样本熵－SampleEntropy.........................................................................................126.10多尺度熵－MultiscaleEntropy................................................................................146.11Lempel-Ziv复杂度...................................................................................................166.12相似指数分析[24]......................................................................................................176.13海杂波的复杂度和熵...............................................................................................186.14本章小结...................................................................................................................186.15后记...........................................................................................................................19-1-6.1引言在对动力学结构进行动力学特性分析时，首先对结构进行非线性检测，并判断该系统的非线性因素是否可以忽略非常重要。一个系统的熵和复杂度隐含着整个系统运动规律,他们的物理意义直接和系统单一变量的性质相联系。在计算熵和复杂度时，一般同近年来由符号动力学理论发展出来的符号时间序列分析方法相联系。符号时间序列分析实质是结合混沌时间序列分析和信息理论的一种分析方法.其实质是先对序列值的符号化，符号化后编码，编码后计算熵或复杂度等特征。数据符号化的基本思想就是在几个可能值上对时间序列进行离散化，把许多可能值的数据序列变换为仅有几个互不相同值的符号序列。这是一个“粗粒化”(Coarse-grained)过程，这一过程能够捕获大尺度的特征，从而降低动力学噪声和测量噪声的影响。而且，复杂度和熵不仅适用于混沌时间序列，也适用于性质未知时间序列的特征提取和分析。本文主要研究了时间序列的常用符号化过程，编码序列或原始时间序列的熵和复杂度的计算。本章中各节主要内容如下：6.2节介绍了时间序列的几种常用符号化方法；6.3节－6.10节介绍了各种熵的定义、计算方法和应用；6.11节为Lempel-Ziv复杂度的计算、应用和物理意义分析；6.12介绍了一种计算两时间序列相似度的方法；6.13节为海杂波的熵和复杂度及其应用；6.14节为本章小结。6.2时间序列符号化方法对于非线性时间序列复杂度的研究，时间序列粗粒化的方法有：均值法、一阶差分法、移动均值一阶差分法等，这些方法共同的特征是把时间序列简化成容易处理的符号序列[1-4]。目前采用较多的是如图1所示的均值化方法，即对于某一时间序列(),1,2,,xiin=，令:11()naveiXxin==∑(6.1)为这一时间序列的平均值,aveX()12nSsss=是一个与时间序列(),1,2,,xiin=长度相同的空符号串。当时间序列中的某一元素()avexiX时，则取符号为“1”，否则为“0”,由此建立的符号序列为。由于只考虑大于平均值和小于等于平均值这两种状态,所以在动力学结构分析中,这种划分方法对噪声不敏感。而且只能体现出序列的整体特性，不能体现出序列的局部特性。isS-2-1010110101MeanValue10SymbolSeriesStatictransformation(fixedpartition)图表6-1：连续模拟序列的静态均值符号序列化方法示意图显然，以上取均值处理的方法存在明显缺陷，大量的细节信号被抹掉。为了体现时间序列的细节信息，可以使用一阶差分方法符号化时间序列。对一时间序列，任意点与其前一点进行比较，大于等于前者，记为1，否则记为0，得到的符号序列中的所有“01”或“10”对应一次局部极值。如图表6-2所示，这种方法在很大程序上提取了信号中的细节成分。0101001010Up=1Down=0SymbolSeriesDynamictransformation(firstdifference)图表6-2：连续模拟序列的一阶差分符号序列化方法示意图另外，为了综合上面两种方法的优点，也可动态符号化时间序列。动态符号化是指对长度为的时间序列取长度为的矩形窗，对窗内序列取均值，窗内大于均值的点置于1，小于均值的点置为0，这样将一长度为的非“0，1”序列变换为个长度为的“0，1”符号序列，然后对NLN1NL−+L1NL−+个序列分别计算其复杂度或熵，从而得到复杂度随时间的动态变化。使用这种方法简单方便，不仅考虑了全局特征也提取了局部细节信号。-3-图表6-3给出了使用均值化方法根据原始数据据序列产生符号序列和符号编码序列的示意图，它很好地解释了由原始时间序列到生成符号编码的整个过程。在原始数据被转化为符号序列形式后，就要提取其特征量。一个非常有用的方法就是选择一个标准长度的，个连续的符号组成一个字，每一个字被编码为十进制数，形成一个新的序列。上述过程与时间延迟嵌入类似，即利用离散的符号代替连续的原始测量值。LL图表6-3：根据原始数据据序列产生符号序列和符号码序列示意图在符号编码序列产生以后，可以将出现的字的频率作为时间序列分析的一个指标，如所示图表6-4就是符号编码序列的直方图，它直观地描述了每一个字出现的概率，因此为后面各种熵和复杂度的计算提供了基础。图表6-4：符号编码序列的直方图6.3热力学熵－克劳修斯(Clausius)熵[5,6]1854年克劳修斯(Clausius)发表了《力学的热理论的第二定律的另一种形式》的论文,给出了可逆循环过程中热力学第二定律的数学表示形式:0dQT=∫(6.2)引入了一个新的后来定名为熵的态参量。1865年他发表了《力学的热理论的主要方程S-4-之便于应用的形式》的论文，把这一新的态参量正式定名为熵。并将上述积分推广到更一般的循环过程，得出了热力学第二定律的数学表示形式：0dQT≤∫(6.3)其中等号对应于可逆过程，不等号对应于不可逆过程。在热力学过程中，为了描述不可逆过程的单向性，引入态函数熵。对于只有热接触的封闭系统，熵变化为SdSdQdST≥(6.4)或babadQSST−≥∫(6.5)上式中的a、表示始末两个状态，、为始末两个状态的熵，为系统吸收的热量，为热源的温度，可逆过程中T也是系统的温度。baSbSdQT当系统经历绝热过程或系统是孤立的时候，系统与外界没有热量交换：0dQ=(6.6)因此有(6.7)0dS≥或0abSS−≥(6.8)即有“熵增加原理”：孤立系统或绝热过程是不可逆系统，熵总是增加的。可逆过程只能沿熵增加的方向进行，昀终达到平衡状态。由于系统的无序程度与熵值存在对应关系，所以由“熵增加原理”导致的孤立系统达到的平衡态是均匀无序状态。由此定义的熵称克劳修斯熵，或热力学熵。熵是一个态函数，是热力学宏观量。对绝热过程和孤立系统中所发生的过程，由熵函数的数值可判定过程进行的方向和限度。对于非平衡的开放系统，Prigogine等进一步推广熵的概念，将表示为dSeidSdSdS=+(6.9)其中表示与外界交换能量与物质时，引起熵变换，称为熵交换；表示系统内部的不可逆过程产生的熵。根据式edSidS(6.9)，对于开放系统有(6.10)0idS≥0eedSdSdS若，且有i(6.11)则由式(6.9)知，系统有0dS(6.12)即开放系统的熵的总变化是负的，故开放系统有可能形成有序结构。有序结构的形成，一方面需要外界条件，这是必要的；另一方面需要内部条件，这是充分的。由外界的能量或物质维持一种空间或时间上的有序结构，称为耗散系统。-5-Prigogine等还证明，相对于定态熵的二级偏差(超熵)总是负的，即20Sδ(6.13)超熵对时间的导数称为超熵产生，其值可取不同的符号，据稳定性理论有以下三种情形：(1)当()20dSdtδ时，定态是渐近稳定的(2)当()20dSdtδ时，定态是不稳定的(3)当()20dSdtδ=时，定态是临界稳定的由系统的状态变量和动力学参量决定取三种定态情况中的哪一种。在接近平衡态区域，已知定态应该是渐近稳定的；当变量变化使状态远离平衡时，系统可能越过(3)的情形进入(2)的情形。此时均匀无序的定态变成不稳定的，从而通过分叉过程造成对称的破缺，并出现有序结构(如极限环和混沌)，即有序结构只可能在远离平衡态的非线性区域出现。6.4统计熵－玻尔兹曼(Boltzmann)熵[5]1896年，玻尔兹曼(Boltzmann)建立了熵和系统宏观态所对应的可能微观态数目W(即热力学概率)的联系：SlnSW∝(6.14)1900年普朗克(Planck)引进了比例系数k－称为玻尔兹曼常量，写出了玻尔兹曼－普朗克公式：lnSk