第1章随机信号基础

现代信号处理电子工程系张旭东[e-mail]一点思考和讨论彻底告别应试思维！学习和思考？质疑？知识和兴趣？研究生阶段的学习？一门课程框架下的多样化学习？从被动学习，到自主学习，到探求未知，研究生阶段必要的角色转变？本课程要讨论的主要问题（1）对信号特性的了解随机信号（随机过程，时间序列––随机过程的一个实现）信号模型→参数估计→现代谱估计：参数化谱估计讨论信号模型及模型参数的估计问题，各种信号模型的作用（2）对统计意义下最优滤波器设计的研究平稳条件下：Wiener滤波器理论非平稳条件下：Kalman滤波非线性非高斯：贝叶斯滤波，粒子滤波理论上的目标，实际算法可达到的最佳结果（3）对环境的自适应，有“学习能力”的滤波算法自适应均衡、波束形成、线性自适应滤波器、盲处理（4）信号的统计分析方法现代谱估计方法，信号模型方法的应用，子空间方法更多信息的利用，挖掘（针对非高斯问题）非线性、多谱：高阶量，循环平稳信号的盲处理（5）对时间–频率关系的适应性、稀疏表示信号的时间-频率联合分析，反映信号更丰富特性全局特性与局域特性，小波变换，时频分析，信号的稀疏表示和恢复，CS教材张旭东，陆明泉：离散随机信号处理，2005年10月，清华大学出版社张旭东，现代信号分析和处理，2017年，清华大学出版社（目前老版教材售罄暂缺，新版教材于2017年出版，网络学堂将提供新版教材的电子版，由于与出版社版权问题，电子版教材仅供选课同学参考，切勿外传）1.S.Haykin,AdaptiveFiltertheory,Prentice-Hall,FouthEdition2001(电子工业出版社影印本和中文译本)2.S.M.Kay,ModernSpectralEstimation:Theory&Application,Prentice-Hall,19883.S.M.Kay,FundamentalsofStatisticalSignalProcessing:EstimationTheory,PrenticeHallPTR,1993.（有中文译本）4.S.Mallat,AWaveletTourofSignalProcessing,Academicpress,ThirdEdition20095.VanTree，OptimumArrayProcessing，Wiley，2002（有中文译本）6.J.G.Proakis,etal.AlgorithmsforStatisticalSignalProcessing,Prenticehall,2002（有中文译本）7.D.SimonOptimalStateEstimation,Wiley,20068.S.Foucart,H.Rauhut,AMathematicalIntroductiontoCompressiveSensing,Springer,2013主要参考书IEEESignalProcessingMagazineIEEETrans.OnSignalProcessingSignalProcessingProceedingsofIEEEProceedingsofICASSP，DSP主要杂志和会议文集课程成绩平时作业20％3个Matlab作业60％（布置后2周内提交）期末课程报告20％（开放性选题）信号处理算法设计面向的几个主要因素信噪比信噪比可能显式或隐式地影响信号处理方法的性能先验知识雷达通信系统电子对抗对先验知识的利用：统计基础上的假设、学习过程算法复杂性与性能要求的匹配性(问题的适宜性）Occam剃刀原理：除非必要，“实体”不应该随便增加，或：设计者不应该选用比“必要”更加复杂的系统。学术研究和工程应用信号处理的不同对象和方法高斯类信号和非高斯类信号平稳信号与非平稳信号线性系统和非线性系统时间处理、空间处理和时空处理有监督系统和无监督系统建立了系统的科学方法的巨人牛顿艾萨克·牛顿爵士，1643年~1727年(维基百科对他的定义是：英格兰物理学家、数学家、天文学家、自然哲学家和炼金术士）；1687年发表《自然哲学的数学原理》；其他物理学上的贡献；与莱布尼茨分享发展了“微积分学”的荣誉；证明了广义二项式定理，提出了“牛顿法”以趋近函数的零点，并对幂级数的研究作出了贡献。自然和自然律隐没在黑暗中；神说，让牛顿去吧！万物遂成光明--浦柏了解一点科学史随机信号处理与贝叶斯ThomasBayes，贝叶斯(1702-1763)，英国数学家.贝叶斯决策理论方法（1763）是统计模型决策中的一个基本方法，其基本思想是：1、已知条件概率密度参数表达式和先验概率；2、利用贝叶斯公式转换成后验概率；3、根据后验概率大小进行决策分类。Born:April30,1777,Brunswick,GermanyDied:February23,1855,Göttingen,Germany离散随机信号处理与高斯(CarlFriedrichGauss)AscientificbiographerswroteinNature(128[1931],341):Hewasnotreallyaphysicistinthesenseofsearchingfornewphenomena,butratheralwaysamathematicianwhoattemptedtoformulateinexactmathematicaltermstheexperimentalresultsobtainedbyothers.正态分布（高斯分布）最小二乘LSFFT，…傅里叶BaronJean-Baptiste-JosephFourier(1768-1830)*1807年12月21日，傅里叶提交了一篇关于热学原理的论文，其中，揭示了：在一个有限区间上任意不规则图形所定义的一个任意函数（连续或具有不连续点）总是能够表示为正弦信号的和，这被后来称为傅里叶级数。*5位法国数学家组成的评审委员会，评审这篇论文，其中包括拉格朗日，拉普拉斯、勒让德等，最后以拉格朗日的激烈反对，而未能发表。*15年后（1823年），傅里叶在其努力失败后，以“热的解析理论”的书的形式发表了他的成果。*一些现在被广泛接受的方法，在历史上被不理解，甚至被认为是荒谬的例子，在科学史上很多，科学的进步之路，有时候需要打破权威，持之以恒地坚持。N.Wiener与信号处理的统计学方法NorbertWiener，1894-1964)1942年发表了在统计准则下对时间序列进行外推/滤波和预测的维纳滤波理论1948年，出版《控制论》在纯数学里的许多贡献随机信号处理/信号处理的统计方法尽管从贝叶斯和高斯等的工作中，找到了信号统计处理的一些基本思想，作为学科，随机信号处理是一个“现代的科学分支”，并从现代统计学中吸收重要思想；Wiener滤波理论，对于推动信号处理的统计方法的发展，有显著的作用，（李郁荣对于Wiener滤波理论在电子工程的应用有实质贡献）；二次世界大战后，雷达，通信，航空和地震勘探等的需求，推动了信号处理统计方法理论上的快速发展，大规模数字计算技术的飞跃，又为应用提供了支持，两者的推动，使该领域自50年代以来，一直非常活跃，至今，新的问题不断被提出。一些进展中的课题盲信号处理（无监督学习）序列贝叶斯估计、粒子滤波空时信号处理压缩传感和信号的稀疏化表示理论图上信号采样、重构和处理等等与信号处理紧密关联的领域人工神经网络统计机器学习（机器智能，大数据等）模式识别等等1.1随机信号基础被噪声干扰的初相位是随机值的正弦波信号本质上均是随机的，但将信号作为随机信号处理，还是做为确定信号处理，与我们的应用目标和我们的先验知识有关，一般地，我们总是选择对应用有利的处理方式。1.随机过程(信号)复习随机信号简记为均值自相关自协方差函数),(nx)(nxdxnxxpnxEn),()]([)(212121212121),,,()](*)([),(nnnnnndxdxnnxxpxxnxnxEnnr))*]()())(()([(),(221121nnxnnxEnnc)(*)(),(2121nnnnr平稳随机过程：联合概率密度函数与起始时间无关宽平稳（二阶）)(n)()(),(),(2121krnnrnnrknnr相关函数的性质|)(|)0(krr)(*)(krkr宽平稳和严格平稳的关系？互相关)]()([),(2*121nynxEnnrxy联合宽平稳有)]()([)(*knynxEkrxy互相关系数2/1)0()0()()(yxxyxyrrkrk1)(kxy相关不相关正交等价性)()()()(**myEnxEmynxE0)()(*mynxE零均值条件下，不相关就一定是正交例设有两个测量信号（零均值）)()()(,)()()(21nnKnAsnynnnsnx解：)()()()()()()()()()()()(211221KkArkrKkArkrKkArknnkKnAsnnnsEknynxEkrsnnsnsnsyx可见互相关的最大值发生在Kk处，测量了延迟2．自相关矩阵x][HERxxMM定义：设M维信号矢量用随机信号的自相关矩阵定义为信号矢量外积的期望值，即这是一个方阵。表示，自协方差矩阵][HECxxμ-xμ-x互相关矩阵、互协方差矩阵的定义类似，不再保证是方阵，自行练习xyxyCR,TMnxnxnxn)]1(,),1(),([)(x)]()([nnERHxx)]1()1([)]1()1([)]()1([)]1()1([)]1()1([)]()1([)]1()([)]1()([)]()([*********MnxMnxEnxMnxEnxMnxEMnxnxEnxnxEnxnxEMnxnxEnxnxEnxnxE)0(;),2(),1()2(,),0(),1()1(,),1(),0(rMrMrMrrrMrrrTMxxx)]1(,),1(),0([x][HERxx)0(),2(),1()2(),1(),0(),1(),1(),2(),1(),0(rMrMrMrrrrMrrrrR自相关矩阵的几个性质RRHToeplitz矩阵)(][ijrRij半正定：对任意0x0xxRH一般情况下，R是正定的，只有当观察矢量是由K个正弦组成，且MK是例外的特征分解自相关矩阵的特征值总是大于或等于零不同的两个特征值对应的特征矢量是正交的M,,,21MQqqq,,,21MiHiiiHQQR1qqMiHiiHQQI1qq令：则：增广性质MHMRrRrr)0(1)0(*1rRRBTBMMrrTMrrr)](),2(),1([rTBrMrMr)]1(),1(),([r高1阶自相关矩阵必包含一个完整的低1阶的自相关阵。反之，由低1阶自相关阵，按一定方式可增广出高1阶自相关阵3．常见信号正弦波加噪声:)()()(0nvenxnj噪声与正弦波是统计独立的，噪声是白噪声)()(2kkrvv)(nx的自相关函数为)()exp(||0)exp(||0||)](*)([)(2020222kkjkkjkknxnxEkrvv由正弦波加噪声构成的信号矢量TMxxx)]1(,),1(),0([xM×M的自相关矩阵RIRVH2002||eeTMjjee],,,1[00)1(0e其中实高斯过程联合高斯分布的边际分布和