自适应滤波LMS算法及RLS算法及其仿真

I自适应滤波第1章绪论..............................................................................................................................................11．1自适应滤波理论发展过程.........................................................................................................11．2自适应滤波发展前景.................................................................................................................21．2．1小波变换与自适应滤波...................................................................................................21．2．2模糊神经网络与自适应滤波...........................................................................................3第2章线性自适应滤波理论..................................................................................................................42．1最小均方自适应滤波器.............................................................................................................42．1．1最速下降算法...................................................................................................................42．1．2最小均方算法...................................................................................................................62．2递归最小二乘自适应滤波器.....................................................................................................7第3章仿真..........................................................................................................................................123.1基于LMS算法的MATLAB仿真.................................................................................................123.2基于RLS算法的MATLAB仿真.................................................................................................15组别：第二小组组员：黄亚明李存龙杨振1第1章绪论从连续的(或离散的)输入数据中滤除噪声和干扰以提取有用信息的过程称为滤波。相应的装置称为滤波器。实际上，一个滤波器可以看成是一个系统，这个系统的目的是为了从含有噪声的数据中提取人们感兴趣的、或者希望得到的有用信号，即期望信号。滤波器可分为线性滤波器和非线性滤波器两种。当滤波器的输出为输入的线性函数时，该滤波器称为线性滤波器，当滤波器的输出为输入的非线性函数时，该滤波器就称为非线性滤波器。自适应滤波器是在不知道输入过程的统计特性时，或是输入过程的统计特性发生变化时，能够自动调整自己的参数，以满足某种最佳准则要求的滤波器。1．1自适应滤波理论发展过程自适应技术与最优化理论有着密切的系。自适应算法中的最速下降算法以及最小二乘算法最初都是用来解决有／无约束条件的极值优化问题的。1942年维纳(Wiener)研究了基于最小均方误差(MMSE)准则的在可加性噪声中信号的最佳滤波问题。并利用Wiener．Hopf方程给出了对连续信号情况的最佳解。基于这～准则的最佳滤波器称为维纳滤波器。20世纪60年代初，卡尔曼(Kalman)突破和发展了经典滤波理论，在时间域上提出了状态空间方法，提出了一套便于在计算机上实现的递推滤波算法，并且适用于非平稳过程的滤波和多变量系统的滤波，克服了维纳(Wiener)滤波理论的局限性，并获得了广泛的应用。这种基于MMSE准则的对于动态系统的离散形式递推算法即卡尔曼滤波算法。这两种算法都为自适应算法奠定了基础。从频域上的谱分析方法到时域上的状态空间分析方法的变革，也标志着现代控制理论的诞生。最优滤波理论是现代控制论的重要组成部分。在控制论的文献中，最优滤波理论也叫做Kalman滤波理论或者状态估计理论。从应用观点来看，Kalman滤波的缺点和局限性是应用Kalman滤波时要求知道系统的数学模型和噪声统计这两种先验知识。然而在绝大多数实际应用问题中，它们是不知道的，或者是近似知道的，也或者是部分知道的。应用不精确或者错误的模型和噪声统计设计Kalman滤波器将使滤波器性能变坏，导致大的状态估计误差，甚至使滤波发散。为了解决这个矛盾，产生了自适应滤波。最早的自适应滤波算法是最小JY(LMS)算法。它成为横向滤波器的一种简单而有效的算法。实际上，LMS算法是一种随机梯度算法，它在相对于抽头权值的误差信号平方幅度的梯度方向上迭代调整每个抽头权值。1996年Hassibi等人证明了LMS算法在H。准则下为最佳，从而在理论上证明了LMS算法具有孥实性。自Widrow等人1976年提出LMs自适应滤波算法以来，经过30多年的迅速发展，已经使这一理论成果成功的应用到通信、系统辨识、信号处理和自适应控制等领域，为自适应滤波开辟了新的发展方向。在各种自适应滤波算法中，LMS算法因为其简单、计算量小、稳定性好和易于实现而得到了广泛应用。这种算法中，固定步长因子μ对算法的性能有决定性的影响。若μ较小时，算法收敛速度慢，并且为得到满意的结果需要很多的采样数据，但稳态失调误差2较小：当“较大时，该算法收敛速度快，但稳态失调误差变大，并有可能使算法发散。收敛速度与稳态失调误差是不可兼得的两个指标。以往的文献对LMS算法的性能和改进算法已经做出了相当多的研究，并且至今仍然是一个重要的研究课题。另一类重要的自适应算法是最小二乘(LS)算法。LS算法早在1795年就由高斯提出来了，但LS算法存在运算量大等缺点，因而在自适应滤波中一般采用其递推形式——递推最小二乘(RLS)算法，这是一种通过递推方式寻求最佳解的算法，复杂度比直接LS算法小，因而获得了广泛应用。1994年Sayed和Kailath建立了Kalman滤波和RLS算法之间的对应关系，证明了RLS算法事实上是Kalman滤波器的一种特例，从而使人们对RLS算法有了进一步的理解，而且Kalman滤波的大量研究成果可应用于自适应滤波处理。这对自适应滤波技术起到了重要的推动作用。基本上，现有的参考文献都是基于这两种算法进行改进的。而这两种算法又可以简单的用以下语句来描述：LMS：(抽头权向量更新值)=（老的抽头权向量值）+(学习速率)(抽头输出向量)(误差信号)RLS：(状态递推值)=（旧的状态值）+(卡尔曼增益)(新息向量)以往的研究多集中在线性滤波方面，非线性滤波理论还有待于进一步的研究开发。1．2自适应滤波发展前景现代信号处理理论为自适应滤波技术的发展提供了广阔的空间。尤其是小波技术和人工智能理论的发展，更是推动和加快了自适应滤波技术的前进。1．2．1小波变换与自适应滤波小波变换是由法国地球物理学家Morlet于80年代初在分析地球物理信号时作为～种信号分析的数学工具提出来的。通俗地讲，小波是一种短期波。在积分变换中，小波作为核函数的用法大体与傅立叶分析中的正弦和余弦函数或与沃耳什(Walsh)分析中的沃耳什函数的用法相同。目前，小波分析主要用于信号处理、图像压缩、次能带编码、医学显像、数据压缩、地震分析、消除噪声数据、计算机图像、声音合成等领域。小波变换的基本特点是多分辨率或多标度的观点，目的是“既要看到森林(信号的概貌)，又要看到树木(信号的细节)”。借助于小波的精辟理论，自适应滤波技术有了新的发展方向，这也引起了信号处理领域许多学者专家的浓厚兴趣和热切关注。基于小波变换的自适应滤波技术是未来自适应滤波发展的方向之一，有着广阔的应用前景。目前还有许多问题亟待解决，例如不同形式的小波滤波器的滤波效果研究；在时变信号滤波方面的应用研究以及对于失调噪声的滤波等等。31．2．2模糊神经网络与自适应滤波神经网络作为一种新的计算方法，已经引起了人们广泛的研究兴趣。神经网络可以认为是一种由许多称为“神经元”(neuron)的基本计算单元通过广泛的连接所组成的网络。它是在现代神经科学研究成果的基础上提出来的，反映了人脑功能的基本特征。网络的信息处理由神经元之间的相互作用来实现，网络的学习与识别决定于各神经元之间联接权系数的动态变化过程。人工神经网络是模仿和延伸人脑认知功能的新型智能信息处理系统，由于神经元本身具有高度自适应性，因而由大量神经元组成的神经网络具有自学习性、自组织性、巨量并行性、存储分布性、结构可变性等特点，能解决常规信息处理方法难以解决或无法解决的问题。模糊技术也是现代智能理论的一个重要方面。利用模糊技术我们可以很容易的将人们熟悉的语言描述应用到自动控制或信号处理中来，然而，模糊理论与神经网络都存在着各自的优缺点。模糊逻辑和神经网络在许多方面具有关联性和互补性。它们的交叉研究正是基于二者互补性和关联性的结合。首先，两者具有互补性。一方面，模糊技术的特长在于模糊推理能力，容易进行高阶的信息处理。将模糊技术引入神经网络，可以大大拓宽神经网络处理信息的范围和能力，使其不仅能够处理精确信息，也能够处理模糊信息或其它不精确信息，不仅能够实现精确性联想及映射，也能够实现不精确性联想及映射，特别是模糊联想和模糊映射。另一方面，神经网络在自学习和自动模式识别方面有极强的优势，采取神经网络技术进行模糊信息处理，则使得模糊规则的自动提取及隶属函数的全自动生成有可能得以解决。其次，两者具有关联性，有许多共同点。它们都着眼于模拟人的思维，都是为了处理实际中不确定性、不精确性等引起的系统难以控制等问题。两者在形式上有不少相似之处，其信息都是分布式存储于其结构之中，从而都具有好的容错能力。不管是神经网络还是模糊逻辑，都不需要建立数学模型，只需根据输入的采样数据去获取所需的结论，也就是模型无关估计器。另外，神经网络的映射功能早已得到证明。近年来，Kosko、L。X．Wang等证明了模糊系统能以任意精度逼近紧密集上的实连续函数，这也说明了二者之间有着密切的关系。因此，将两者融合在一起的模糊神经网络可以有效的克服两者的缺点，提高整个网络的性能。譬如；神经网络可以降低透明程度，使它们更接近于模糊系统；而模糊系统可以提高自适应性，更接近于神经网络。神经网络与模糊神经网络有力的推动了自适应滤波技术，特别是非线性自适应滤波技术的发展。事实上，一个神经网络或模糊神经网络本身就可以看