第二十四讲最小二乘估计波形估计

7.6最小二乘估计（LeastSquareEstimate）最小二乘估计是一种对数据的概率分布未做任何假定的一种估计方法，仅对数据模型进行假定。SignalModelPerturbation()snnoiseModelinaccuracies()znSignalModel()sn()zn-+()en120()(()())NnJznsn选择一种的最佳估计,使s(n)最接近z(n)ˆ例如：DC电平信号()()0,1,...,1znAvnnN120()(())NnJAznA10()2(())0NnJAznAA101ˆ()NnAznN例：正弦信号频率的估计0()cos2snfn12000()(()cos2)NnJfznfn最小化难以得到闭合性形式的解，原因是信号与未知参数f0之间存在高度的非线性关系。zHθv12,,...,TNzzzz12,,...,TNvvvv111212122212.........MMNNNMhhhhhhhhhH211ˆˆˆˆ()[][]minNMTiijjijJzhθzHθzHθ12,,...,TMθ1ˆ()TTlsθHHHz加权最小二乘估计ˆˆˆ()[][]TWJθzHθWzHθ1ˆ()TTlswθHWHHWz讨论：（1）当观测噪声的均值为零时，最小二乘与加权最小二乘是无偏估计。111ˆ[]()[]()[]()TTlsTTTTEEEθHHHzHHHHθvHHHHθθ（2）估计的方差阵11ˆˆ(){[][]}()()TTTTlslslsVarEθθθθθHHHRHHH11ˆˆ(){[][]}()()TlswlswlswTTTVarEθθθθθHWHHWRWHHWH(3)对于加权最小二乘估计，如果有一些模型的知识，如E(v)=0，E[vvT]=R，当W=R-1时，估计误差的方差阵达到最小，这个最小的方差阵为1111ˆˆ(){[][]}()TTlsRlsRlsRVarEθθθθθHWH这时的估计称为马尔可夫估计例：信号幅度的估计设N次独立观测为()()()0,1,...,1znAsnvnnN方法一：120()(()())NnJAznAsn10()2(()())()0NnJAznAsnsnA10120()()ˆ()NnNnznsnAsn()()()0,1,...,1znAsnvnnN方法2：AzHv[0][1]...[1]TsssNH1ˆ()TTAHHHz10()()NTnsnznHz120()NTnsnHH110120()()ˆ()()NTTnNnznsnAsnHHHz信号处理实例：最小二乘在目标跟踪中的应用目标的跟踪问题可等效成一个曲线拟合问题假定目标做匀速直线运动运动模型（只考虑x方向）：00()1,2,...ixixxti-2024681012-2024681012观测模型：00()()()()izixiwixxtwi令()1iitH000TxxX0()()()ziiwiHX(1)(2)...()Tkzzzkz(1)(2)...()TkkHHHH0kkkzHXw10ˆ()[()]()kTkkTkkXHHHz递推算法：000ˆˆˆ()(1)()(()()(1))kkkkkkXXKzHX批处理算法，运算量太大。21()6(1)(2)kkkkK递推算法：000ˆˆˆ()(1)()(()()(1))kkkkkkXXKzHX21()6(1)(2)kkkkK10010(0)(1)1ˆ(1)(1)(0)ztztzzttX7.7波形估计(WaveformEstimation)00()()(),1,...,fznsnvnnnnn根据{z(n),n[n0,nf]}估计s(n)波形估计的应用图像恢复语音恢复目标跟踪弹道数据处理1.波形估计的三种类型(1)滤波：根据当前和过去的观测值{z(k),k=n0,n0+1,...,n}对信号s(n)进行估计(2)预测:根据当前和过去的观测值{z(k),k=n0,n0+1,...,nf}对未来时刻n(nnf)的信号s(n)进行估计，预测也称为外推。数据0nnˆ()sn数据0nnˆ()snfn(3)内插:根据某一区间的观测数据{z(k),k=n0,n0+1,...,nf}对区间内的某一个时刻n(n0nnf)的信号进行估计，内插也称为平滑。数据0nnˆ()snfn波形估计宜采用可建立递推算法的线性最小均方估计或最小二乘估计。()()()0,1,...,1znsnvnnN2()~(0,)vnNv(n)相互独立，且若采用最大似然估计212201(()())(;)exp22Nnznsnfzs22211ln(;)(/2)ln(2)(()())2NifNznsnzs21ln(;)1(()())()Nifznsnsnzsˆ()()snzn这个估计量是没有意义的，因为没有对观测做任何处理。ˆ(/)[()|(),,,...,]ffsnnEsnzkknnn001最小均方估计：ˆ(/)(,)()0fnfknsnnhnkzk线性最小均方估计：ˆˆ(/)()(,)()0nknsnnsnhnkzk滤波()(,)()()00nknEsnhnkzkzi由正交原理：,...,inn0Wiener-Holf方程波形估计的关键是如何求解Wiener-Holf方程(,)(,)(,)0nszzknRnihnkRki,...,inn0维纳滤波器假定信号和观测过程是平稳随机序列，并且是联合平稳随机序列，系统为线性时不变离散时间线性系统，n0=-，即观测数据为{z(k),-k}，ˆ()()()()()ksnhnkzkhnzn()()()()kEsnhnkzkzi0()()()szzkRnihnkRkii()()()szzkRnihnkRki,mnilnki()()()()()0szzzlRmhlRmlhmRm()()()szzGzHzGz()()()szzGzHzGz维纳滤波器()()()()ssvGzHzGzGz当信号s(n)与观测噪声统计独立时()()()()ssvGHGG如果假定{z(k),-k}，系统为因果的线性时不变系统ˆ()()()()()nksnhnkzkhnzn()()()()nkEsnhnkzkzi0()()()nszzkRnihnkRkiin()()()nszzkRnihnkRki,mnilnkin()()()szzlRmhlRml0m0当观测为白噪声的时候，()()szHzGz()()()szzlRmhlRml0m0()()()szlRmhlml0m0()()szRmhmm0()()szhnRnn0如果不是白噪声，那么可以先白化Hw(z)H2(z)()wt()ztˆ()st()()1wzHzGz()()[()()]12swwszHzGzHzGz()()()()11szzzGzHzGzGz例7.13设观测过程为z(n)=s(n)+v(n)，其中假定观测噪声v(n)为零均值白噪声，方差为1，s(n)是具有有理谱的平稳随机序列，功率谱密度为10.36()(10.8)(10.8)sGzzz信号s(n)与v(n)统计独立，求估计s(n)的维纳滤波器解：()()()()11szzzGzHzGzGz10.36()()(10.8)(10.8)szsGzGzzz111()()()0.36(10.5)(10.5)11.6(10.8)(10.8)(10.8)(10.8)zsvGzGzGzzzzzzz1110.5()1.610.8zzGzz()()()()..(.)(.).....szzzGzHzGzGzzzzzzz1111103611081081081051051616108....(.)(.)......111111111080361610510810511080616105108318105zzzzzzzz3ˆˆ()0.5(1)()8snsnzn连续时间的维纳滤波器()()()()11szzzGzHzGzGz离散时间滤波连续时间滤波()()()()szzzGsHsGsGs1()()()szzGzHzGz物理可实现物理可实现()()()szzGsHsGs例7.13设观测过程为z(t)=s(t)+v(t)，-t其中假定观测噪声v(n)为零均值白噪声，功率谱密度为1，s(n)是具有有理谱的平稳随机过陈，功率谱密度为21()1sG求估计s(t)的维纳滤波器。21()()1szsGsGss22212()()()111zsvsGzGsGsss21()1sGss22221()11()2()21szsGssHssGsss21()2H21()2thte第七章小结贝叶斯估计非贝叶斯估计最小均方估计条件中位数估计最大后验概率估计线性最小均方估计最大似然估计最小二乘估计都需要计算后验概率密度需要计算似然函数只对数据模型进行假定1.最小均方估计2ˆ{[()]}minEz平方代价函数的贝叶斯估计ˆ(|)msEz最小均方估计是无偏估计2.条件中位数估计绝对值代价函数的贝叶斯估计ˆˆ(|)(|)medmedfzdfzd3.最大后验概率估计ˆ(|)|maxmapfzˆln(|)|maxmapfz采用绝对值代价函数的贝叶斯估计最大后验概率方程ˆ(|)0mapfzˆln(|)0mapfz贝叶斯估计都需要计算后验概率密度，需要已知被估计量的分布特性。先验信息的应用，有利于提高估计的性能。Mean=Median=Mode(|)fz高斯后验分布ˆˆˆmsmedmap4.最大似然估计ˆ(;)maxmlfzˆln(;)maxmlfzˆ(;)mlfz0ˆln(;)mlfz0最大似然方程：常用信号参数的估计（1）高斯白噪声中恒定电平的估计11ˆNmliiAzN（2）高斯白噪声的方差估计均值为零2211ˆNmliizN均值已知2211ˆ()NmliizAN均值未知2211ˆ()NmliizzNˆmlAz（3）信号幅度的估计z[n]=As[n]+v[n]，n=0,1,….N-110120[][]ˆ[]NnmlNnznsnAsn0[]cos(2)[]znAfnvn0,1,...,1nN1010012000()cos(2)2ˆ()cos(2)cos(2)NNnNnnznfnAznfnNfn