信号检测与估计理论A4纸

经典估计：待估计参数确定但却未知。贝叶斯估计：待估计参数为随机变量。均方误差22ˆˆˆ()[()]var()()mseEb最小方差无偏（MVU）估计待估计参量对PDF的影响越强，参数估计就越准确。似然函数的尖锐性决定估计精度。Cramer-Rao下限（CRLB）：正则条件ln(;)0pEx下限：22ln(;)ˆvar()1/pExln(;)/()(())pIgxˆ()gx，minˆvar()1/I达到CRLB的估计量是有效的，MVU不一定有效。22ln(;)ln(;)()pxpxIEE非负；对于独立的观测，有可加性。N个IID观测的CRLB为单次观测的1/N。WGN中一般CRLB：[][;][]xnsnwn有2120[;]ˆvar()/Nnsn参数变换（参数函数估计的CRLB）：()g222ln;ˆvar()/pxgE（的函数）线性变换保持估计的有效性；大数据下，非线性变换渐近保持有效。矢量形式CRLB：1ˆvar()[()]iiiI：正则条件：ln(;)0pxE，有1ˆ()0CIln(;)()(())pxIgx，ˆ()gx1ˆ()CI，2ln(;)[()]ijijpxIE2ln(;)ln(;)ln(;)ijijpxpxpxEECRLB随估计参数的增加而增加。线性模型xHw，2~(0,)wNI，则MVU估计量1ˆ()TTHHHx，有效估计，达到CRLB协方差矩阵21ˆ()TCHHHˆ为高斯随机矢量，服从21(,())TNHH在已知充分统计量的观测值的条件PDF应与估计参数无关。Neyman-Fisher因式分解：(;)((),)()pxgTxhx，则()T为的充分统计量。RBLS定理：若是的无偏估计，()T为的充分统计量，则ˆ(|())(())ETxgTx为：1.的适用估计量（仅为x的函数，与无关）；2.无偏；3.对应所以，方差小于等于。若()T完备，则ˆ为MVU估计量。完备的是指仅存在一个无偏的统计量的函数g。对于指数PDF（高斯、瑞利、指数等），完备性都满足。充分统计量完备性条件：当且仅当()0vT（对所有T值），有()(;)0vTpTdT（对所有），则T是完备的。求MVU估计步骤：1、Neyman-Fisher因式分解，得充分统计量()Tx；2、检验完备性；3、满足完备性，则求无偏估计ˆ(())gTx，（或计算ˆ(|())ETx）即为MVU估计。估计量为数据的线性函数ˆTax，在无偏约束ˆ()E下，使ˆvar()TaCa最小的a（C为x的协方差矩阵）。无偏约束要求([])[]Exnsn，得到s。无偏约束变为1Tas。BLUE为11ˆTTsCxsCs，11optTCsasCs，11ˆvar()TsCs矢量形式BLUEˆAx，()ExH，AHI，ˆvar()TiiiaCa111ˆ()TTHCHHCx，11ˆ()TCHCHGauss-Markov定理：数据是线性模型xHw，w为零均值、协方差为C的噪声，则BULE为111ˆ()TTHCHHCx，11ˆvar()[()]TiiiHCH，11ˆ()TCHCHN渐近无偏ˆ()EAA，渐近有效ˆvar()ACRLB如果有效估计存在，最大似然估计就可求出有效估计。MLE渐近高斯分布1ˆ~(,())aNI，()I为Fisher信息量，正则条件：对数似然函数导数存在，Fisher信息非零。MLE的不变性：的PDF为(;)px，其MLE为ˆ，则()g的MLE为ˆˆ()g，若g不是一对一函数，ˆ是是修正似然函数:()(;)max(;)Tgpxpx最大的。MLE的数值确定：网格搜索法和迭代法最小二乘使观测数据和假设信号之间误差平方最小。性能取决于干扰噪声和信号模型标量最小二乘：[][]snhn，误差为120()([][])NnJxnhn，得LSE为ˆ/TTxhhh，最小误差为2minˆ()/TTTTTJxxxhxxxhhh矢量最小二乘：sH，()()()TJxHxH，LSE为1ˆ()TTHHHx1minˆ(())()TTTTJxIHHHHxxxH加权最小二乘：()()()TJxHWxH则1ˆ()TTHWHHWx1min(())TTTJxWWHHWHHWxLSE的几何解释：数据矢量与信号矢量线性组合成的矢量距离最小的线性组合参数；误差矢量与H各列正交。LSE为数据矢量在H各列构成的p维空间的投影。正交投影矩阵1()TTPHHHH，对称，幂等，奇异。按阶递推最小二乘估计…………序贯最小二乘估计…………先验知识的应用会提高估计精度。贝叶斯MSE通过积分消除了参数依赖性，故可以选MSE为估计标准。MMSE估计ˆ(|)(|)AApAxdAEAx(|)(,)/()(|)()/()pAxpAxpxpxApApx后验PDF综合了先验信息和数据中参数信息；数据将先验分布转化为后验分布。高斯PDF的再生性，边缘、后验PDF都是高斯的。二维高斯条件PDF…………贝叶斯一般线性模型的后验PDF…………多余参数：积分消除多余参数误差平方代价函数——MMSE，后验PDF均值误差绝对值代价函数——条件中值估计均匀代价函数——最大后验估计高斯后验PDF三种估计量相同。矢量MMSE，对每个分量都使MSE最小。线性变化可交换：Ab则ˆˆAb；对独立数据集可迭加；联合高斯下MMSE为数据线性函数。标量MAP：ˆargmax(|)argmax(|)()pxpxp矢量MAP…………没有最大似然中的不变性。估计性能用误差的PDF评价，应在零附近。检测性能等效于两种PDF的辨识核心问题是确定检测统计量偏移系数22120((;)(;))var(;)ETHETHdTH检测性能随SNR的增加或数据长度增加而改善。Neyman-Pearson准则，接收机工作特性ROC最小错误概率准则0101()(|)(|)()pHpxHpxHpH先验概率相等，则为最大似然检测。最大后验概率检测器最小平均贝叶斯风险准则多元假设检验简单假设检验（对应每种假设PDF完全已知）确定信号检测问题WGN，基于NP准则，10()[][]NnTxxnsn，相关器匹配滤波器实现：冲激响应为信号镜像[][1]hnsNn，N-1时刻与相关器输出相同。N-1时刻输出最大值。使FIR滤波器输出达到SNR最大。12(()/)DFAPQQP1.当有噪声存在时，这个最大值可能受到扰动，但最佳检测性能应该在n=N-1时刻获得。2.如果信号不是n=0时刻开始的，却认为是n=0时刻开始的，这时若使用相应的匹配滤波器进行检测，则可能获得较差的检测性能。3.对于未知到达时间的信号，不能使用匹配滤波器形式的检测器。1.最大信噪比是信号的能量。后面将看到匹配滤波检测器的性能随着的增大而单调递增。2.对WGN中已知的确定性信号的检测问题，NP准则和最大SNR准则都可以导出匹配滤波器。在这些模型假定的情况下，最大信噪比准则也可以得到最佳检测器。3.对于非高斯情况，匹配滤波器不是NP意义下最佳的，但仍然可以使线性FIR滤波器的输出信噪比最大（更为一般的情况下，匹配滤波器使任何线性FIR滤波器输出的信噪比最大，甚至对线性无限冲激响应滤波器也是这样）。原因是非高斯情况下，NP检测器不是线性的，然而对于中等程度高斯噪声PDF的偏离，匹配滤波器仍然有好的性能。广义匹配滤波器（相关噪声）1()TTxxCs11(())TDFAPQQPsCs多元信号检测——最小错误概率准则，最小距离接收机二元，基于ML准则，1220([][])NiinDxnsn（求最小者），2(1)2epQM元，ML准则，()/2TiiiTxxs（求最大者）Pe=……线性模型，111()TTTxxCsxCH11ˆ11(()DFAPQQPC简单假设检验中随机信号检测问题WGN+零均值高斯信号，能量检测器()TTxxx，22(/)NFAPQ，222(/())NDsPQWGN+协方差sC的信号，NP准则，估计器-相关器ˆ()TTxxs，21ˆ()sssCCIx去相关分解TssVCV121220()()[]NTsnssnsnTxyIyyn检测性能，Pfa，Pd…………高斯色噪声+协方差sC的信号，NP准则，预白化器加估计-相关器1ˆ()TwTxxCs，1ˆ()sswsCCCx线性模型，估计-相关器21()()TTTTxxHCHHCHIx一般高斯过程，随机过程=非零均值的确定部分+零均值、给定协方差的随机部分111()()1/2()TTswswsswTxxCCxCCCCx复杂假设检验一致最大势检验UMP，单边检验一般检验：广义死然比GLRT贝叶斯方法1111100000(|;)()(;)(;)(|;)()pxHpdpxHpxHpxHpd大数据记录时的GLRT性能…………估计部分2、最小方差无偏估计（MSE无法实现，故MVU）3、克拉美-罗下限4、线性模型（数据是参数的线性函数，由CRLB求MVU估计）5、一般最小方程无偏估计（如果有效估计量不存在）6、最佳线性无偏估计量（观测数据PDF不完整，估计量为数据的线性函数，仅要求PDF的一、二阶矩）7、最大似然估计（MVU不存在或找不到）8、最小二乘估计（一般不具有最佳，没有任何概率或统计描述，仅假设信号模型）10、贝叶斯原理（被估计参数是随机变量）11、一般贝叶斯估计（多种贝叶斯风险函数）