西安工业信号检测与估计SDE_06ch4线性模型

Ch4线性模型Chapter4LinearModels雷斌[e-mail]imation信号检测与估值第六讲Spring20162019/12/16SDE_07LinearModels2CRLB•假设PDFp(X;θ)满足“正则”条件，既•对于所有的θ0);(lnθθXpE其中数学期望是对p(X;θ)求出的。那么，任何无偏估计的协方差矩阵满足0)(1θICθθjiijpE);(ln)(2θXθIFisher信息矩阵半正定矩阵positivesemi-definite引申到得到MVU估计2019/12/16SDE_07LinearModels3CRLBExamples•1：距离估计RangeEstimation–声纳、雷达、机器人学、发射区定位sonar,radar,robotics,emitterlocation•2：正弦参数估计幅度频率相位SinusoidalParameterEstimation(Amp.,Frequency,Phase)–声纳、雷达、计量经济学、光谱测定sonar,radar,communicationreceivers(recallDSBExample),etc•3：方位估计BearingEstimation–声纳、雷达sonar,radar,emitterlocation•4：自回归参数估计AutoregressiveParameterEstimation–speechprocessing,econometrics•仅研究CRLB，及可能直接产生的估计方法2019/12/16SDE_07LinearModels4一般线性模型GeneralLinearModelN×1已知观测矩阵known“observationmatrix”(N×p)•Nowweconsideraspecialcase:LinearObservations线性观测•s(θ)=Hθ+b•一般线性模型TheGeneralLinearModel:p×1已知偏移量known“offset”(p×1)•Recallsignal+WGNcase:x[n]=s[n;θ]+w[n]•x=s(θ)+wHere,dependenceonθisgeneralwHθxb数据矢量DataVector已知满秩矩阵Known&FullRank待估参量ToBeEstimated已知Known~N(0,C)0均值高斯，协方差为CGaussianispartoftheLinearModel2019/12/16SDE_07LinearModels5Importance作用1.Someapplicationadmitthismodel.某些应用适用这种模型2.Nonlinearmodelscansometimesbelinearied非线性模型有时可简化为线性3.FindingMVUEstimatoriseasy.容易找到MVU估计xCHHCHθ111MVU)(TT2019/12/16SDE_07LinearModels6H矩阵必须满秩NeedForFull-RankHMatrixA:若非如此，估计问题无法摆正姿势Ifnot,theestimationproblemis“ill-posed”可能在限定条件下存在多个θ满足条件…givenvectorstherearemultipleθvectorsthatgives:•IfHisnotfullrank…•存在两个参量的取值，满足s=Hθ1=Hθ2Thenforanys:∃θ1,θ2suchthats=Hθ1=Hθ2需要注意的是：我们假定H矩阵满秩Note:WemustassumeHisfullrankQ:Why?2019/12/16SDE_07LinearModels74.3定义和性质•X＝Hθ＋w•VectorParameter待估参数:•θ=[θ1θ2...θp]T•measuralvector测试向量:•X=[x[0]x[1]...x[N-1]]T•W=[w[0]w[1]...w[N-1]]T~N(0,δ2I)•H：已知的nxp阶观测矩阵observationmatrix注意Caution:“线性”指“线性模型”而非与数据呈线性The“Linear”in“LinearModel”doesnotcomefromfittingstraightlinestodata2019/12/16SDE_07LinearModels8线性模型的实例•与待估参数是线性的)()(2321nnnntwtttx][)2sin()2cos(][11nwNknbNknanxMkkMkkwx]1[]1[]0[][]2[]1[0]0[]1[00]0[phhhpNuNuNuuuu泰勒展开傅立叶展开有限冲击响应TMMbbbaaa2121θ][khTn21θwHθx观测矩阵待估参量w～N(0,σ2I）2019/12/16SDE_07LinearModels9定理Theorem4.1线性模型的MVU估计)5.4()(1xHHHθTT)7.4()()(121HHθICθTwHθx•H为已知的Nxp的观测矩阵,(Np),秩为p•θ是px1待估计参数矢量，w是Nx1的噪声矢量~N(0,δ2I)-满秩FullRank2019/12/16SDE_07LinearModels10证明Proof:考虑CRLB等号成立条件)4.4(])[()2ln())()(();(ln1222θxHHHHHθθxθIθθxTTTNgp)5.4()(1xHHHθTT)7.4()()(121HHθICθT1)(HHT•假设条件：•需要证明•H线性独立？2019/12/16SDE_07LinearModels114.4线性模型的例子•曲线拟合•傅立叶分析•系统辨识•待估计的参量（系数）是线性的•at＋bt2＋ct3＋dt4.......•θ=[abcde...]T注意Caution:“线性”指“线性模型”而非与数据呈线性The“Linear”in“LinearModel”doesnotcomefromfittingstraightlinestodata2019/12/16SDE_07LinearModels12Ex.4.1:曲线拟合CurveFitting)()(2321nnnntwtttx测量电压假设关系211211200111NNttttttHwHθx可以推广到t的p次方如果没有噪声，p个参数只要p个观测；考虑噪声的影响，多次测量估计更准，达到MVU的参数……)5.4()(1xHHHθTT)7.4()()(121ˆHHθICθT模型与参数（变量）呈n次方但与系数（待估参量）呈线性ModelisQuadraticinIndexn…ButModelisLinearinParameters2019/12/16SDE_07LinearModels13Matlab中的常用命令•矩阵转置–用符号“`”来表示和实现。例如：A=[123；456；789]；???B=A`↙B=147258369如故Z是复数矩阵，则Z`为它们的复数共轭转置矩阵，非共轭转置矩阵使用Z.`或conj(Z`)。•矩阵求逆：–inv(A)或A^-1；回车2019/12/16SDE_07LinearModels14实例1：青藏铁路地温的高精度测量：标定l00R11expR＋ttBRttNTC（负温度系数）热敏电阻阻值－温度关系可近似表示为44332210ln1Aln1Aln1Aln1AtltltltltRRRRRRRRA充分考虑公式误差并考虑到引线电阻Rl等的影响，温度－热敏电阻阻值关系可表示为通过测量以下温度点的电阻值，估计系数A0、A1、A2、A3、A4电阻表格2-22TRTR-19.754466.8-10.443165.3-10.033211.1-5.002641.1-0.452226.40.042266.95.031828.09.511570.620.511115.030.34800.52019/12/16SDE_07LinearModels15曲线拟合实例：NTC标定2019/12/16SDE_07LinearModels16Ex.4.2fourierAnalis][)2sin()2cos(][11nwNknbNknanxMkkMkkwHθx))1(2sin())1(2sin())1(2cos())1(2cos()2sin()2sin()2cos()2cos(0011NNMNNNNMNNNMNNMNHTMMbbbaaa2121θ满足Np需MN/2DataModel:ParameterstoEstimateParameterstoEstimateAWGNParameters:傅立叶系数(FourierCoefficients)ObservationMatrix:2019/12/16SDE_07LinearModels17applyMVUETheoremforLinearModel:)5.4()(1xHHHθTTxHθT2NI2N运用正弦函数正交性Usingstandardorthogonalityofsinusoids(seebook)EachFouriercoefficientestimateisfoundbytheinnerproductofacolumnofHwiththedatavectorx有趣的现象Interesting!!!AWGN下傅立叶系数估计与噪声无关FourierCoefficientsforsignal+AWGNareMVUestimatesoftheFourierCoefficientsofthenoise-freesignal评论COMMENT:ModelingandEstimation(areIntertwined)•有时参数有其自身的物理意义Sometimestheparametershavesomephysicalsignificance(e.g.delayofaradarsignal).•而有时参数仅仅是假定抽象模型的一部分Butsometimesparametersarepartofnon-physicalassumedmodel(e.g.Fourier)•AWGN下傅立叶系数估计与噪声无关FourierCoefficientsforsignal+AGWNareMVUestimatesoftheFourierCoefficientsofthenoise-freesignal2019/12/16SDE_07LinearModels18fourier参数估计结论1010)2sin(][2)2cos(][2NnkNnkNknnxNbNknnxNa简化MVU估计量和它的协方差矩阵的计算中，关键的要素是H列的正交性。－－此例中频率正交，若不正交（选非正交的频率序列，如1Hz/1.2Hz/1.5Hz/2Hz等）则上式不成立。2019/12/16SDE_07LinearModels19Ex.4.3系统辨识systemidentification•有限冲击响应FIR滤波器模型][nu10][][][][pknwknukhnx待估参数：TDL权重系数][kh卷积convolutio