西安工业信号检测与估计SDE_15贝叶斯估计和卡尔曼滤波的工程应用

贝叶斯估计和卡尔曼滤波的工程应用ApplicationofBayesianEstimators&KalmanFilter雷斌[e-mail]imation信号检测与估值第十四讲Spring20152019/12/16SDE_15一般及线性贝叶斯估计2经典估计方法ClassicalApproach:•感兴趣的参数θ是确定变量，•由此产生确定的信号S(θ)。产生S(n,θ)＋W(n)X[n]n=0,1,…..,N-1估计过程：＋已知或未知的噪声分布情况高斯分布：AWGN相关噪声（色噪声）均匀分布观测数据x的分布，受θ的影响不知道的参数θ2019/12/16SDE_15一般及线性贝叶斯估计3贝叶斯方法BayesianApproach:•感兴趣的参数θ是随机变量，•我们必须估计的是其特定的一个现实。012APDFA－A0A0选择A＋W(n)X[n]n=0,1,…..,N-1贝叶斯方法的基本思想＋已知待估参数θ的分布情况比如室内温度、电池电压等观测数据x的分布，受θ的影响以前有关θ的知识2019/12/16SDE_15一般及线性贝叶斯估计4运用贝叶斯方法的原因当噪声很大，而观测次数有限的情况下。找不到可用的MVU估计量，贝叶斯估计很有用。通过经验成分（先验知识），应用贝叶斯方法时可以改善估计精度。t以前的测量/估计值可能的测量值不可能的位置不可能的位置1飞机位置跟踪2温度连续测量根据传感器数据所估计的位置根据运动规律等已有知识所估计的位置将两信息结合所估计的位置方差情况方差情况贝叶斯估计给出如何利用先验知识和观测进行估计2019/12/16SDE_15一般及线性贝叶斯估计5(,)()()PxAPAxPx2ˆˆ()()()()BmseAAAPAxdApxdx2ˆˆ()()(;)mseAAApxAdx单变量贝叶斯MSE2ˆˆ()()(;)BmseAAApxAdxdA双变量经典MSE贝叶斯原理ˆ()AAPAxdAˆ()AEAx()()()()()()()()pxApApxApAPAxPxpxApAdA•先验PDF的选择是很关键的。错误的选择将导致差的估计。2019/12/16SDE_15一般及线性贝叶斯估计611.3风险函数RiskFunctionsWhylimitthecostfunctiontojustquadratic?干嘛非要限定风险为二次方？上一章：替换：则定义了一个二次型风险函数2019/12/16SDE_15一般及线性贝叶斯估计7一般贝叶斯法则GeneralBayesianCriteria2.DefineBayesRisk风险函数:估计误差有关Dependsonchoiceofestimator与估计方法有关3.MinimizeBayesRiskw.r.t.estimate使风险函数达到最小得到估计方法1.Defineacostfunction代价函数:)(C)}({CERw.r.t.有关WithRegardTo),(xp)}({CER2019/12/16SDE_15一般及线性贝叶斯估计8三种常用的代价函数ThreeCommonCostFunctions二次型代价函数绝对值代价函数成功-失败代价函数2019/12/16SDE_15一般及线性贝叶斯估计9TheOptimalEstimatesfortheTypicalCosts1.Quadratic:2()()REBmse|(|)ExmeanofpxAswesawinCh.102.Absolute:()||RE(|)medianofpx3.Hit-or-Miss:mod(|)eofpx“MaximumAPosteriori”orMAP最大后验估计量二次型代价函数绝对值代价函数成功-失败代价函数2019/12/16SDE_15一般及线性贝叶斯估计1011.7Example:BayesianDeconvolution信号处理的例子•ThisexampleshowsthepowerofBayesianapproachesoverClassicalmethodsinsignalestimationproblems(i.e.estimatingthesignalratherthansomeparameters)S(t)x(t)w(t)h(t)MeasuredData=Samplesofx(t)So…modelasD-TSystemModelasazero-meanWSSGaussianProcessw/knownACFRs(τ)AssumedKnownGaussianBandlimitedWhiteNoisew/KnownVarianceGoal:Observex(t)&Estimates(t)Note:AtOutput…s(t)isSmeared&Noisy2019/12/16SDE_15一般及线性贝叶斯估计11Sampled-DataFormulation00000001100011011111ssxhswxhhswxNhNhNhNnsnwNMeasuredDataVectorxAWGN:wCw=σ2ISignalVectorstoEstimateKnownObservationMatrixHWehavemodeleds(t)aszero-meanWSSprocesswithknownACF…So…s[n]isaD-TWSSprocesswithknownACFRs[m]…So…vectorshasaknowncovariancematrix(Toeplitz&Symmetric)givenby:ModelforPriorPDFisthens~N(0,Cs)sandwareindependent2019/12/16SDE_15一般及线性贝叶斯估计12MMSESolutionforDeconvolution•WehavethecaseoftheBayesianLinearModel…so:12TTSSsCHHCHIxNotethatthisisalinearestimateThismatrixiscalled“TheWeinerFilter”Theperformanceofthefilterischaracterizedby:112/TssCMCHH2019/12/16SDE_15一般及线性贝叶斯估计13Sub-Example:NoInverseFiltering,NoiseOnly•DirectobservationofswithHIxswS(t)x(t)w(t)Goal:Observex(t)&“De-Noise”s(t)Note:AtOutput…s(t)withNoise12ssSCCIx112/ssCMCINote:DimensionalityProblem…#of“parms”=#ofobservationsClassicalMethodsFail…sˆ=xBayesianmethodscansolveit!!Forinsight…consider“singlesample”case:2000001ssRSxxR20sRSNR00HighSNRSx00LowSNRSDataDrivenPriorPDFDriven2019/12/16SDE_15一般及线性贝叶斯估计14Sub-Sub-Example:SpecificSignalModelHIxswDirectobservationofswithButhere…thesignalfollowsaspecificrandomsignalmodel11Snasnunu[n]isWhiteGaussian“DrivingProcess”Thisisa1st-order“auto-regressive”model:AR(1)SucharandomsignalhasanACF&PSDof2||1211kusRkaa2221|1|usjfPfaeSeeFigures11.9&11.10intheTextbook2019/12/16SDE_15一般及线性贝叶斯估计15SequentialLMMSEBlockDiagramDataModelxnHnwn1THnHnhn21,,nnnMhComputeGainObservationInnovationΣKnΣz-1nhPreviousEstimateDelay11Tnnnnkxnhnx[n]xn++++−UpdatedEstimate1n1|1TNnxnnh1nPredictedObservationExactSameStructureasforSequentialLinearLS!!Tnh2019/12/16SDE_15一般及线性贝叶斯估计16滤波Filtering,平滑Smoothing,预测PredictionTerminologyforthreedifferentwaystocasttheWienerfilterproblemFilteringGiven:x[0],x[1],…,x[n]Find:[n]SSmoothingGiven:x[0],x[1],…,x[N-1]Find:[n]SPredictionGiven:x[0],x[1],…,x[N-1]Find:,0xNllNote!!x[n]123n123n0S1S2S3S0123SSSS123n455xAllthreesolvedusingGeneralLMMSEEst.1XXXCCX2019/12/16SDE_15一般及线性贝叶斯估计171XXXCCXFilteringSmoothingPredictionsnscalarsvector1xNlscalar0!TXTssssTssTXXTTsswwCEsnxEsnsrnrrvectorCEswswEsswwRRTXTTTsswwTxxTTsswwCEsxEsswEssswRRCEswswEsswwRR111!TXxxxxxxTxxXXCExNlxrNlrlrvectorCExxR2019/12/16SDE_15一般及线性贝叶斯估计18运用KalmanFilter方法的原因很多时候系统运行的规律能够知道一些。t以前的测量值可能的测量值不可能的位置不可能的位置1飞机位置跟踪2温度连续测量3电池电压测量：大于0V，小于12V2019/12/16SDE_15一般及线性贝叶斯估计19System:ourknowledgeofthesystemKalmanfilter–KFSystemstate:unknownsystemparametersmodelmeasurementnoise