自适应滤波器

自适应滤波器自适应滤波器：根据所处理信号的变化，使用自适应算法来改变滤波器的参数和结构。通常，不改变滤波器的结构，而只改变滤波器的系数，即其系数是由自适应算法更新的时变系数，自动连续地适应于所处理信号，以获得期望响应。1引言•自适应的概念：生物能以各种有效方式适应周围环境，从而使生命力变强。•40年代，N.维纳用最小均方原则设计最佳线性滤波器，用来处理平稳随机信号，即著名的维纳滤波器。•60年代，，R.E.卡尔曼创立最佳时变线性滤波设计理论，用来处理非平稳随机信号，即著名的卡尔曼滤波器。•70年代，美国B.Windrow和Hoff提出了处理随机信号的自适应滤波器算法，弥补了维纳、卡尔曼滤波器的致命缺陷：必须事先知道待处理信号的统计特性（如自相关函数），才能计算出最佳的滤波器系数Wopt，否则，维纳、卡尔曼滤波器无法判定为最佳。•自适应滤波器：利用前一时刻已获得的滤波器系数，自动地调节现时刻的滤波器系数，以适应所处理随机信号的时变统计特性，实现最优滤波。1.1自适应滤波器的发展史1.2自适应滤波器的分类•按滤波器的结构来分：–递归型（最佳递归估计-卡尔曼滤波）–非递归型（最佳非递归估计-维纳滤波）•按实现方式来分：–模拟式自适应滤波器（抑制某些单频干扰）–数字式自适应滤波器（常用，需用软件实现）•自适应FIR滤波器的分类(非递归型)：–自适应横向滤波器–自适应格型滤波器–自适应对称横向滤波器•按复杂度来分：–线性自适应滤波器–非线性自适应滤波器（包括Volterra滤波器和基于神经网络的自适应滤波器。信号处理能力更强，但计算也更复杂。）值得注意的是：自适应滤波器通常是时变性的非线性的系统，非线性：系统根据所处理信号特点不断调整自身的滤波器系数。时变性：系统的自适应响应/学习过程。所以，自适应滤波器可自动适应信号的传输环境，无须详细知道信号的结构和特征参数，无须精确设计滤波器本身。实际应用的常见情况：当自适应学习过程结束，滤波器系数就不再变化，此时滤波器就变成了线性系统，故此类自适应滤波器被称为线性自适应滤波器，因为这类系统便于设计且易于数学处理，所以实际应用广泛。本文研究的自适应滤波器就是线性自适应滤波器。线性自适应滤波器的两部分：自适应滤波器的结构自适应权调整算法自适应滤波器的结构有FIR和IIR两种。FIR滤波器是非递归系统，即当前输出样本仅是过去和现在输入样本的函数，其系统冲激响应h(n)是一个有限长序列，除原点外，只有零点没有极点。具有很好的线性相位，无相位失真，稳定性比较好。IIR滤波器是递归系统，即当前输出样本是过去输出和过去输入样本的函数，其系统冲激响应h(n)是一个无限长序列。IIR系统的相频特性是非线性的，稳定性也不能得到保证。唯一可取的就是实现阶数较低，计算量较少；硬件速度的巨大发展，使得工程师更关心系统的稳定性、处理能力的优越性，而不在乎那么一丁点计算量的减少。因此，自适应滤波器常采用FIR结构。可分为：横向型、对称横向型、格型线性自适应滤波器的两部分：自适应滤波器的结构自适应权调整算法自适应权调整算法可分为两类最基本算法：①最小均方误差(LMS)算法：使滤波器的实际输出与期望输出之间的均方误差最小.LMS算法的基础是最陡下降法(SteepestDescentMethod),1959年，威德诺等提出，下一时刻权系数矢量=“现时刻”权系数矢量+负比例系数的均方误差函数梯度。当权系数达到稳定（最佳权系数）时,则均方误差达到极小值。LMS算法有两个关键:梯度的计算以及收敛因子的选择。通常，将单个误差样本的平方作为均方误差的估计值LMS算法是一种递推过程,表示要经过足够的迭代次数后,权系数才会逐步逼近最佳权系数,从而计算得到最佳滤波输出,即噪声得到最好抑制.存在问题：收敛速度。抽头延迟线的非递归型自适应滤波器算法的收敛速度，取决于输入信号自相关矩阵特征值的离散程度。当特征值离散较大时，自适应过程收敛速度较慢。格型结构的自适应算法则收敛较快。递归型结构的自适应算法是非线性的，收敛可疑。②递推最小二乘(RLS)算法：使估计误差的加权平方和最小.2匹配滤波器证明：最优滤波最优数字滤波器的两条现实约束（1）滤波器是线性的，以使对滤波器的数学分析更为简便；（2）滤波器是离散时间的，这将使得滤波器可以采用数字硬件或软件来实现；•维纳滤波器：滤波器系数固定,是适用于平稳随机情况下的最优滤波;•卡尔曼滤波器：滤波器系数时变,是适用于非平稳随机情况下的最优滤波.•这两种最优滤波器设计的前提：必须事先知道所处理信号的统计特性(数学期望,相关函数等)。•遗憾的是,在实际应用中常常无法预先得知信号的统计特性或所处理信号的统计特性是随时间变化的3维纳滤波器该式表明：已知期望信号d(n)与观测信号u(n)的互相关矩阵r，观测信号u(n)的自相关矩阵R,通过求逆和矩阵乘法，可得最佳滤波器wopt若滤波器长度M较大，则计算量大，存储空间也要大。M是由实验所要求的精度来决定。最小均方误差：4卡尔曼滤波器4.1预备知识卡尔曼滤波的前提：要用状态空间法表征系统状态方程输出方程4.2基于状态空间法的卡尔曼滤波器4.3卡尔曼滤波器的递推算法小结•维纳滤波器的参数是固定的,适用于平稳随机情况下的最优滤波;•卡尔曼滤波器的参数是时变的,适用于非平稳随机情况下的最优滤波.•这两种滤波器设计的前提：必须拥有事先知道信号和噪声的统计特性(数学期望,相关函数等)。遗憾的是,在实际应用中常常无法预先得到信号的统计特性或信号的统计特性是随时间变化的.•而如果输入信号的统计特性未知,或者输入信号的统计特性随时间变化,只能使用自适应滤波器。它能够自动地迭代调节自身的滤波器参数,以满足某种准则的要求,从而实现最优滤波.•所处理信号的统计特性未知,调整自身参数到最佳的过程——学习过程.•所处理信号的统计特性变化,调整自身参数到最佳的过程——跟踪过程•因此自适应滤波器具有学习能力和跟踪能力.5自适应滤波器5.1引言①②③自适应滤波器的定义•按复杂度来分：–线性自适应滤波器–非线性自适应滤波器（包括Volterra滤波器和基于神经网络的自适应滤波器。信号处理能力更强，但计算也更复杂。）值得注意的是：自适应滤波器常称为：时变性的非线性的系统。非线性：系统根据所处理信号特点不断调整自身的滤波器系数，以便使滤波器系数最优。时变性：系统的自适应响应/学习过程。实际应用的常见情况：学习/训练阶段：滤波器根据所处理信号的特点，不断修正自己的滤波器系数，以使均方误差最小(LMS)。使用阶段：均方误差达最小值，意味着滤波器系数达最优并不再变化，此时的滤波器就变成了线性系统，故此类自适应滤波器被称为线性自适应滤波器，因为这类系统便于设计且易于数学处理，所以实际应用广泛。本文研究的自适应滤波器就是线性自适应滤波器。线性自适应滤波器的两部分：自适应滤波器的结构自适应权调整算法自适应滤波器的结构有FIR和IIR两种。FIR滤波器是非递归系统，即当前输出样本仅是过去和现在输入样本的函数，其系统冲激响应h(n)是一个有限长序列，除原点外，只有零点没有极点。具有很好的线性相位，无相位失真，稳定性比较好。IIR滤波器是递归系统，即当前输出样本是过去输出和过去输入样本的函数，其系统冲激响应h(n)是一个无限长序列。IIR系统的相频特性是非线性的，稳定性也不能得到保证。唯一可取的就是实现阶数较低，计算量较少；硬件速度的巨大发展，使得工程师更关心系统的稳定性、处理能力的优越性，而不在乎那么一丁点计算量的减少。因此，自适应滤波器常采用FIR结构。可分为：横向型、对称横向型、格型线性自适应滤波器的两部分：自适应滤波器的结构自适应权调整算法自适应权调整算法可分为两类最基本算法：①最小均方误差(LMS)算法：使滤波器的实际输出与期望输出之间的均方误差最小.LMS算法的基础是最陡下降法(SteepestDescentMethod),1959年，威德诺等提出，下一时刻权系数矢量=“现时刻”权系数矢量+负比例系数的均方误差函数梯度。当权系数达到稳定（最佳权系数）时,则均方误差达到极小值。LMS算法有两个关键:梯度的计算以及收敛因子的选择。通常，将单个误差样本的平方作为均方误差的估计值LMS算法是一种递推过程,表示要经过足够的迭代次数后,权系数才会逐步逼近最佳权系数,从而计算得到最佳滤波输出,即噪声得到最好抑制.存在问题：收敛速度。抽头延迟线的非递归型自适应滤波器算法的收敛速度，取决于输入信号自相关矩阵特征值的离散程度。当特征值离散较大时，自适应过程收敛速度较慢。格型结构的自适应算法则收敛较快。递归型结构的自适应算法是非线性的，收敛可疑。②递推最小二乘(RLS)算法：使估计误差的加权平方和最小.5.2LMS自适应算法维纳滤波器的寻优以最小均方误差为准则；LMS自适应滤波的寻优就在最小均方误差的基础上稍作改动：目标函数：均方误差E{|e(k)|2}瞬时平方误差|e(k)|2其实质：以当前输出误差、当前参考信号和当前权系数求得下个时刻的权系数。最小均方算法：LeastMeanSquares回顾：最陡下降法1）依据：wiener滤波器的均方误差曲面J(w)是权矢量w的二次函数，不存在局部最小点。2）方法：从任意初始值w(0)出发，沿J(w)的负梯度方向(最陡下降方向)按一定步长进行迭代搜索至最小点。)(0minwJJ权矢量随n变化的轨迹在每个时刻n都正交于J(n)(等高线)；回顾：维纳滤波器的系数—使均方误差最小证明5.3RLS自适应算法递归最小二乘法：RecursiveLeastSquares最小二乘法：无需假定输入是宽带平稳过程，收敛快。①问题的描述：在n时刻巳知一组输入数据x(1)，x(2)，…..，x(n)一组需要的响应)()1()(211i，d，i，did设计一个M阶的滤波器(估计器)，使它n时刻的输出Ti，y，i，yiyn)]()1()([)(211y②最小二乘问题的分类：最小二乘法：最小二乘法：③正交性原理：按误差平方和最小化原则，可得：最小二乘法：最小二乘法：递归最小二乘法的预备知识：①②RLS算法随n趋向无限大，权系数按均值收敛于最佳值；但，对于有限的n，由于δ的引入，RLS算法是有偏估计。权系数的均方误差随最小特征值的减小而增大，因此，R特征值的散布度加大，会使RLS权系数的收敛性能变差；权系数的均方误差随n的增加而线性减小，所以，RLS算法权系数按均方渐近收敛于最佳值。RLS算法经过n=2M次迭代，即可使均方误差达到最小误差的1.5倍，而LMS算法达此水平至少需20M次迭代。因此，RLS比LMS至少快一个数量级。RLS算法的均方误差收敛特性与R的特征值散布无关。RLS收敛快的原因在于采用类似归一化步长。)()()()1()()1()1(ˆ)(ˆnnnnnnnnHxxPxPww若n趋于无限大，在不考虑量化误差的条件下，RLS算法无失调。而LMS始终存在与步长有关的失调。RLS算法的主要问题：每次迭代中的计算量与阶数M的平方成正比。虽然比之最小二乘法(M的三次方成正比)好，但比LMS算法(M成正比)要差。