第三章-多元正态分布

第三章多元正态分布§3.1多元正态分布的定义§3.2多元正态分布的性质§3.3复相关系数和偏相关系数§3.4极大似然估计及估计量的性质§3.5和(n−1)S的抽样分布*§3.6二次型分布x§3.1多元正态分布的定义一元正态分布N(μ,σ2)的概率密度函数为若随机向量的概率密度函数为则称x服从p元正态分布，记作x~Np(μ,Σ)，其中，参数μ和Σ分别为x的均值和协差阵。22212112221e212exp,2xfxxxx12(,,,)pxxxx212112exp2pfxΣxμΣxμ例3.1.1（二元正态分布）设x~N2(μ,Σ)，这里易见，ρ是x1和x2的相关系数。当|ρ|1时，可得x的概率密度函数为211112222122,,xxxμΣ122122211112222211221,211exp221fxxxxxx二元正态分布的密度曲面图下图是当时二元正态分布的钟形密度曲面图。2212,0.75二元正态分布等高线等高（椭圆）线：上述等高线上的密度值21222121,exp2121cfxx2221111222211222xxxxc二元正态分布的密度等高线族（使用SAS/INSIGHT，由10000个二维随机数生成）-2024y-202xy-2024x00§3.2多元正态分布的性质*（1）略。（2）设x是一个p维随机向量，则x服从多元正态分布，当且仅当它的任何线性函数均服从一元正态分布。性质（2）常可用来证明随机向量服从多元正态分布。（3）设x~Np(μ,Σ)，y=Cx+b其中C为r×p常数矩阵，则该性质表明，（多元）正态变量的任何线性变换仍为（多元）正态变量。ax,rNyCμbCΣC例3.2.2设x~Np(μ,Σ)，a为p维常数向量，则由上述性质（2）或（3）知，（4）设x~Np(μ,Σ)，则x的任何子向量也服从（多元）正态分布，其均值为μ的相应子向量，协方差矩阵为Σ的相应子矩阵。该性质说明了多元正态分布的任何边缘分布仍为（多元）正态分布。需注意，随机向量的任何边缘分布皆为（多元）正态分布未必表明该随机向量就服从多元正态分布。例2.2.2就是这样的一个反例。,NaxaμaΣa还需注意，正态变量的线性组合未必就是正态变量。这是因为：x1,x2,⋯,xn均为一元正态变量⟸(⇏)x1,x2,⋯,xn的联合分布为多元正态分布⟺x1,x2,⋯,xn的一切线性组合是一元正态变量例3.2.4设x~N4(μ,Σ)，这里1112131411212223242231323334334142434444,,xxxxxμΣ则（i）；（ii）；（iii）。,,1,2,3,4iiiixNi1111142444144,xNx4444414313114111333343133,xxNx§3.2多元正态分布的性质（5）设x1,x2,⋯,xn相互独立，且xi~Np(μi,Σi)，i=1,2,⋯,n，则对任意n个常数，有此性质表明，独立的多元正态变量（维数相同）的任意线性组合仍为多元正态变量。（6）设x~Np(μ,Σ)，对x,μ,Σ(0)作如下的剖分：2111,nnniipiiiiiiikNkkxμΣ111112222122,,kkkpkpkpkkpkxμΣΣxμΣxμΣΣ则子向量x1和x2相互独立，当且仅当Σ12=0。该性质指出，对于多元正态变量而言，其子向量之间互不相关和相互独立是等价的。（7）设x~Np(μ,Σ),Σ0，则例3.2.5设x~N3(μ,Σ)，其中则x2和x3不独立，x1和(x2,x3)独立。*（8）略12pxμΣxμ300051011Σ*（9）略*（10）略（11）设x~Np(μ,Σ),Σ0，作如下剖分则给定x2时x1的条件分布为，其中μ1·2和Σ11·2分别是条件数学期望和条件协方差矩阵，Σ11·2通常称为偏协方差矩阵。1121122222111211122221xμμΣΣμΣΣΣΣΣ12112,kNμΣ111112222122,,kkkpkpkpkkpkxμΣΣxμΣxμΣΣ这一性质表明，对于多元正态变量，其子向量的条件分布仍是（多元）正态的。例3.2.7设x~N3(μ,Σ)，其中试求给定x1+2x3时的条件分布。116420,4412214μΣ231xxx§3.3复相关系数和偏相关系数一、复相关系数二、偏相关系数一、复相关系数（简单）相关系数度量了一个随机变量x1与另一个随机变量x2之间线性关系的强弱。复相关系数度量了一个随机变量x1与一组随机变量x2,⋯,xp之间线性关系的强弱。将x,Σ(0)剖分如下：111212212211,1111xpppσxΣxσΣx1和x2的线性函数间的最大相关系数称为x1和x2间的复(或多重)相关系数(multiplecorrelationcoefficient)，记作ρ1∙2,⋯,p,它度量了一个变量x1与一组变量x2,⋯,xp间的相关程度。可推导出例3.3.1随机变量x1,⋯,xp的任一线性函数F=l1x1+⋯+lpxp与x1,⋯,xp的复相关系数为1。证明12121222112,,1211max,pxlσΣσlx02lx1,,11111,,max,,11FpppppFpFaxaxFlxlxa0二、偏相关系数将x,Σ(0)剖分如下：称为给定x2时x1的偏协方差矩阵。记，称为偏协方差，它是剔除了的（线性）影响之后，xi和xj之间的协方差。1111222122,kkpkpkkpkxΣΣxΣxΣΣ111211122221ΣΣΣΣΣ1121,,ijkpΣ1,,ijkp21,,kpxxx给定x2时xi和xj的偏相关系数（partialcorrelationcoefficient）定义为其中。ρij∙k+1,⋯,p度量了剔除xk+1,⋯,xp的（线性）影响之后，xi和xj间相关关系的强弱。对于多元正态变量x，由于Σ11∙2也是条件协方差矩阵，故此时偏相关系数与条件相关系数是同一个值，从而ρij∙k+1,⋯,p同时也度量了在xk+1,⋯,xp值给定的条件下xi和xj间相关关系的强弱。1,,1,,1,,1,,,1,ijkpijkpiikpjjkpijk1121,,ijkpΣ§3.4极大似然估计及估计量的性质本课程第二章和第三章前三节的内容属概率论的范畴。从第三章§3.4开始的内容属数理统计的范畴，特点是推断和分析从样本出发。一、样本x1,x2,⋯,xn的联合概率密度二、μ和Σ的极大似然估计三、相关系数的极大似然估计四、估计量的性质设x~Np(μ,Σ),Σ0，x1,x2,⋯,xn是从总体x中抽取的一个简单随机样本（今后简称为样本），即满足：x1,x2,⋯,xn独立，且与总体分布相同。令称之为（样本）数据矩阵或观测值矩阵。11121121222212ppnnnpnxxxxxxxxxxxXx一、样本x1,x2,⋯,xn的联合概率密度极大似然估计是通过似然函数来求得的，似然函数可以是样本联合概率密度f(x1,x2,⋯,xn)的任意正常数倍，我们不妨取成相等，记为L(μ,Σ)。可具体表达为：12121211211,,,,12exp212exp2nniinpiiinnpiiiLffμΣxxxxΣxμΣxμΣxμΣxμ二、μ和Σ的极大似然估计一元正态情形：多元正态情形：其中称为样本均值向量（简称为样本均值），称为样本离差矩阵。222,221ˆˆ,max,1ˆˆ,niiLLxxxn,ˆˆ,max,1ˆˆ,LLnμΣμΣμΣμxΣAx1niiiAxxxx三、相关系数的极大似然估计1.2.3.偏相关系数1.简单相关系数相关系数ρij的极大似然估计为其中。称S为样本协方差矩阵、rij为样本相关系数、为样本相关矩阵。12211()()ˆˆˆ()()nkiikjjijijkijnniijjiijjkiikjjkkxxxxsrssxxxx121ˆˆ,,,,,1ijpijxxxsnΣxSAˆijrR2.复相关系数将x,Σ(0),S剖分如下：则复相关系数ρ1∙2,⋯,p的极大似然估计为r1∙2,⋯,p,称之为样本复相关系数。其中111211121221222122111,,1111111xspppppσsxΣSxσΣsS12121121222121222112,,12,,1111,pprsσΣσsSs3.偏相关系数将x,Σ(0),S剖分如下：则偏相关系数ρij∙k+1,⋯,p的极大似然估计为rij∙k+1,⋯,p，称之为样本偏相关系数，其中111121112221222122,,kkkpkpkpkkpkkpkxΣΣSSxΣSxΣΣSS1,,1,,1,,1,,,1,ijkpijkpiikpjjkpijk。1112111222211,,1,,1,,1,,1,,1112111222211,,,1,ijkpijkpijkpiikpjjkpijkpsrijksssΣΣΣΣΣSSSSS四、估计量的性质1.无偏性2.有效性3.一致性4.充分性1.无偏性设是未知参数𝛉（可以是一个向量或矩阵）的一个估计量，如果，则称估计量是被估参数𝛉的一个无偏估计，否则就称为有偏的。样本均值是总体均值μ的无偏估计，即有由于，故不是Σ的无偏估计。若将该估计量稍加修正为则S将是Σ的一个无偏估计，即有E(S)=Σ。ˆEθθˆθxExμ1ˆnEnΣΣˆΣ111niiinSxxxxˆθ§3.5和(n−1)S的抽样分布一、的抽样分布二、(n−1)S的抽样分布xx一、的抽样分布1.正态总体设x~Np(μ,Σ),Σ0，x1,x2,⋯,xn是从总体x中抽取的一个样本，则2.非正态总体（中心极限定理）设x1,x2,⋯,xn是来自总体x的一个样本，μ和Σ存在，则当n很大且n相对于p也很大时，上式近似地成立。1,pNn