自适应滤波器

现代数字信号处理第四章：自适应滤波器内容1.自适应滤波器原理2.自适应线性组合器3.均方误差性能曲面4.最陡下降算法5.LMS算法6.RLS算法7.典型应用：噪声消除自适应算法理论分析1。自适应滤波原理1.学习和跟踪（时变信号）2.带有可调参数的最优线性滤波器两输入两输出Twoinputsandtwooutputs;FIR,IIR,and格形（Lattice）最小均方误差和最小平方误差准则nxnynd线性滤波器性能评价自适应方法ne输入信号输出信号期望响应误差滤波器参数)()1()(nWnWnWoldnew通用自适应滤波器的基本原理3.自适应滤波器的性能(1)失调量（Misadjustment）(2)计算复杂度（Computationalcomplexity）(3)对时变统计量的跟踪能力(4)结构上：高模块性，并行性等（是否适合硬件实现）(5)收敛速度(6)数值特性：数值稳定性（对字长效应不敏感），数值精确性(7)鲁棒性：对噪声干扰不敏感，小能量干扰只能造成小估计误差本章主要讨论自适应线性组合器（其分析和实现简单，在大多数自适应滤波系统中广泛应用）。多输入自适应线性组合器Lkkknxnwny02。自适应线性组合器一类具有自适应参数的FIR数字滤波器。单输入自适应线性组合器Lkkknxnwny0Lkkknxnwny0Lkkknxnwny0TLnwnwnwn10wmin2neEnnyndnennnnnywxxwTTTLnxnxnxn1xTLnxnxnxn10x多输入单输入nnnndEnwPRwwTT2LmmnxndEnxndEmPLPPPnndELmmnxnxEnxnxEmRRLRLRLRRRLRRRnnEmTmiixxxxxxxxxxxxxxxxxxxx,,1,0,10,,1,0,0110110xPxxRT输入信号x的自相关矩阵R，期望信号d和输入信号x的互相关矩阵P3.均方误差性能曲面单权重情况:抛物线性能曲面nwPnwRndEnPRnwn020200200,0PRw两个权系数:抛物面nwPnwPnwnwRnwnwRndEnwnwPPnwnwRRRRnwnwndEnPPRRRRnwnwnT1010212021010102101202120102011010,0110PRw权系数数目大于两个情况：超抛物面个权系数:一个维空间内的超抛物面“碗底”点对应于均方误差最小点，也就是最优权系数矢量所在的点。对于一个二次性能方程，存在唯一全局最优权矢量，没有局部最优点存在.1L2Lw梯度，最优权矢量和最小均方误差很多自适应方法使用基于梯度的方法寻找可以达到最小均方误差的权矢量。均方误差性能曲面的梯度定义为：PRww2210nnwnnwnnwnnnnTL最优权重矢量处梯度为零：PRwPRw1022nn最小均方误差：wPPRPPR2PPRRPRw2PRwwT1T1T1TTTndEndEndEndE22122min与维纳滤波器的最小均方误差比较:1T1RR2min2EsnEsnT1ToptPRPPhThesameequations背离矢量（背离最优权重）均方误差性能方程可写为另一种形式：wPRwwTTndEn2权重背离矢量:wwv在坐标系统中的性能曲面方程wwRwwTminnRvvTminnv为了使对于所有可能的值为非负，有必要使所有满足。也就是说必须是正定或者半正定。在实际的系统中，矩阵总是正定的，有时半正定情况也会出现。Rvv2梯度:矢量是权重矢量对维纳最优权矢量的背离。任何背离都会导致均方误差的一个增加量vwwRvvTRvvTminv0RvvTvRR4.最陡下降法基本思想：搜索性能曲面理想情况下（梯度可知）:使用基于梯度的方法（最陡下降法）实际情况（梯度多数不可知）:LMS方法（theLeast-Mean-Squarealgorithm）RLS方法（RecursiveLeast-SquareAlgorithm）)()()()1(2nWneEnWnW演示1:基于梯度搜索均方误差曲面的最小点nnnww1为一个控制收敛速度和稳定性的常数称为自适应步长。演示2:方程两边同减最优权矢量11LTxxnnnnRQQqq几个不同形式的权重更新方程nnnnnnnnnnnnnnnnvIvvQvvQIvQvQIQvvQQIvvRIvwwvwRwwRIww1111121212121212211222122nnnnnnnnn1wwRwPwRwPwRPwIRwRwnvnvnvnvnvnvLLL211211211111000120,1,2,,nkkkvnvkL20nnvIv12nnvIvlim()lim()lim()nnnnnnwwv0v0lim20;lim1200,1,,nnknnkLImax102max00trLLkkkkExnR10trR稳定和收敛条件：可证明：自适应过程的稳定性max102110111()LLkikiTrRExnoptoptTWWVWWQV0:)(Lkvnvknkk,,2,1),0(21)(Lkwhennvkkn,,2,1,121,0)(lim最优点:时间迭代:稳定条件:Thedeepest-descendmethod实际应用中选取:收敛速率滤波器参数的收敛速度决定于自适应步长的选择在主轴系统中参数沿着各个参数坐标轴独立收敛。各个坐标轴的收敛速度被各自的几何比r控制。需要注意的是，在自然坐标系中各个参数w并不是独立收敛的。这是我们为什么要变换坐标系到主轴系统进行收敛分析的原因。)0(21)(knkkvnvkkLLrrrr212121211100kkr21几何比r和自适应步长对收敛的影响：稳定(收敛)过阻尼临界阻尼欠阻尼不稳定(不收敛)10210211210,11r01r10r0r1r几何比和自适应步长对收敛的影响：1112001,101112nnvnvrvvnrerevr(1)权系数衰减时间常数权系数衰减到初始值的需要花费的时间。收敛速度：几个时间常数1e2222minmin2min1222min11min0120001,10211()2124msemsemsennmsemsenvvrvnrererer通常为迭代次数(2)学习曲线时间常数即均方误差与最小均方误差的差值下降到初始差值的时所花费的时间。1emse(3)自适应时间常数（用时间衡量学习曲线常数）frequency)sample(iteration)eachforsamplesdata(numberiterationwheresec,1smsesmsemsefNfNT注意最陡下降法具有更多的理论分析意义，实际操作时我们必须对其做很多近似。Least-Mean-SquareAlgorithm最陡下降法在每次迭代时要求得到性能曲面梯度的估计值。LMS方法使用一个特别方法估计这个梯度（这个梯度对于自适应的线性组合器是有效的）LMS方法的优势在于:(1)计算简单方便(2)不需要离线的梯度估计或者数据副本如果自适应系统是一个自适应线性组合器，并且输入矢量和期望响应在每次迭代时都可以得到，那么LMS方法通常是一个最好选择。5.LMS方法nnennnnnnmethoddescentsteepestThennenenennnnnnnnenneEnx2ˆ1:22ˆˆˆˆ22()endnyndnnnTxwLMS方法推导使用单次计算的估计误差平方代替平方误差的期望。LMS使用单次误差代替误差平均，造成梯度和权矢量成为围绕真值的随机变量。nnennnnnyndnennnyx2,1LMS自适应滤波器nxnxnenwnwnwnwnwnwnT10101010211w2输入线性组合器举例ˆ2222ˆ0EnEennEndnynEnnndnnnBnEnTxxxxwRwPLMS方法对梯度的估计的均值为真实梯度估计量的期望值与真实梯度的偏差为0。所以为无偏估计RwwRIRwPPwRIwxxPwwxxxwxwwTT2222222221nEnEnEnnEnEnnnEnndEnEnneEnEnERwwRIw221nnRwwRIw221nEnEnnennxww21nnndnewxT最陡下降法LMS权矢量的均值等于最陡下降法得到的权矢量020406080100120140160180200-0.500.511.5020406080100120140160180200-0.500.5