粒子物理与核物理实验中的数据分析-第5讲-统计检验

粒子物理与核物理实验中的数据分析陈少敏清华大学第五讲：统计检验25/03/20092本讲要点假设，检验统计量，显著水平，功效两种假设下的统计检验纽曼-皮尔森引理如何构造一个检验统计量Fisher甄别函数与神经网络检验拟合优度，P-值定义与应用信号观测的显著程度皮尔逊的2检验25/03/20093概率与统计统计的含义可以通过比较概率理论来理解概率统计(参量测定与假设检验)从理论到数据从数据到理论通过计算某些可观测量(例如，平均值，分布等)来给出预期的实验分布。例如：若宇称守衡，对一特定衰变分布有什么影响？进行所谓的假设检验，比较理论预期的参量值或分布。从观察的实验数据中给出所研究参数的观测值和误差，并且在某一置信水平上检验理论的正确与否。例如：观测到一特定衰变分布，是否可以断定宇称守衡？25/03/20094统计分析的目标假设检验参数拟合检验数据是否与某一特定理论相符(注意，该理论可包含一些自由参数）。利用数据确定自由参数的大小。相符的程度由显著水平来表示。参数的准确程度由对应的误差大小来表示。25/03/20095中微子振荡假设检验振荡假设符合概率：37%无效假设符合概率：0.07%利用加速器把中微子射往远处的探测器，观察有多少中微子发生了形态上的改变，即所谓的加速器中微子振荡实验222()1sin(2)sin(1.27)LPEm日本K2K实验L=250km美国MINOS实验L=700km美国实验证实了日本实验而且实验精度更高。Phys.Rev.D74,072003(2006)Phys.Rev.Lett.97,191801(2006)无效假设振荡假设25/03/20096假设检验123;;;xxx产生的带电粒子数粒子的平均横动量产生的喷注数目01,:,,()(|),(,|)xnfxfxHfxH这里服从在维空间的某些与产生事例类型有关的联合概率密度函数例如正负电子对撞原子核与原子核碰撞等等。那么这些联合的概率密度函数取决于采取何种假设。等等12(,,...,),nxxxx假如测量结果为例如:正负电子对撞后所产生的事例中,对于每个事例,有下列测量量);(:)(:含未定参数复杂假设无未定参数简单假设xfxf。xt，，，x成为精简后的数据样本使得力的条件下不失去甄别各种假设能在验常常构造低维的统计检因此问题维的通常情况下很难处理多)(,01(|),(|),...tgtHgtH那么此时的统计量具有概率密度函数25/03/20097拒绝域、第一与第二类误差010,,.(|)(|.,).tgtHgtHHt考虑统计检验量服从定义拒绝域使得假设为真时，不大可能发生)|(0Htg)|(1Htg接受H0拒绝H0cuttdtHtg)|(0cuttdtHtg)|(1(1-=功效)(显著水平))(tgtcuttcuttt，例如，在上述情况下00,,obstHH如果观测量在拒绝域时拒绝否则接受。0,H假若为真但被拒绝的第可能性构成一类误差01,HH假若接受但实际情况却是为真的可能性构成第二类误差25/03/20098例子:选择不同粒子一束包含K/粒子的束流穿过2厘米厚的闪烁体，根据电离能损的大小可以用来进行粒子鉴别。构造能量沉积测量量t，并假设只有两种可能KH0=(信号)H1=K(本底)tg(t)tcut1(|)gtH0(|)gtH通过要求ttcut来选择粒子，选择效率为(|)1(|)cutcuttKtgtdtgtKdt松选择：效率很高，但K本底高；严选择：信号样本纯，但效率低。的份额a可从t分布估计(;)(|)(1)(|)ftaagtagtK25/03/20099粒子鉴别的概率问题对于一个具有测量值t的粒子，如何估计是K还是的概率？)|()|()|()|()|()|()|()|(tgaKtgatgathtgaKtgaKtgatKhKKK贝叶斯定理通常情况下，需要给出选择样本的纯度(|)(|)()()()[(|)(1)(|)]()(,]cutcutcutcutttcutttallcutcutagtdthtftdtNttpNttagtagtKdtftdtt粒子在区间的概率注意:h(|t)有时会被解释为检验统计量。对于贝叶斯论者：上式为粒子是K或的可信程度对于频率论者：给定t条件下，粒子是K或的比率两种解释均有道理25/03/200910纽曼-皮尔森引理与拒绝域考虑一个多维检验统计量t=(t1,…,tm)，有信号假设H0与本底假设H1。问题：如何选择一个最佳的拒绝域或者cut？纽曼-皮尔森引理：在给定效率条件下，要得到最高纯度的信号样本，或者在给定的显著水平下得到最高的功效，可以选择下列接受域来实现用以决定效率的常数)|()|(10cHtgHtg对于不含未定参量的最优化一维检验统计量，)|()|(10HtgHtgr简单假设H0与H1的似然之比实际应用中，r最好是单值函数。25/03/200911实验中拒绝域的选取Phys.Rev.D77，052003（2008）拒绝域拒绝域拒绝域统计检验量较难！较易！较易！信号：本底本底数目信号的相对效率25/03/200912如何构造一个检验统计量根据纽曼-皮尔森引理，为了选择事例，可选择拒绝域),...,(1nxxx)|()|()(10HxfHxfxt问题：如何知道这两个不同假设下的概率密度函数？实际应用中，可以利用蒙特卡罗方法模拟物理过程与探测器响应，通过产生大量的样本，可以近似地得到上述概率密度函数的表达方式。)|()|(10HxfHxf在只考虑两种可能性的情况下，对于每个事例，测量。M，M。nx，n单元数为则总为每个分量的区间数如果维直方图并填入测量量得到对每个事例,分别产生信号与本底事例,并经过探测器模拟但是如果n太大时，实际运用会很困难。25/03/200913例子:蒙特卡罗近似求二维p.d.f.M.C.M.C.函数曲面分格子统计每个格子的频数近似的二维函数如两者不相关两个一维边缘分布(,)()()fxyfxfy25/03/200914线性检验统计量1()nTiiitxaxax拟设：01(|),(|)agtHgtH给定一个，可以得到相应的概率密度函数01(|)(|)agtHgtH通过选择最大地区分与的目的。当维数2时，用蒙特卡罗法找出多维概率密度函数依然较复杂。假设每一维研究均需要分M个区间，对于n-维问题，需要Mn个格子方能将密度度函数近似确定下来。为了简化处理此类问题，可以采用拟设的方法给出包含少量参数的检验统计量形式，通过确定参数(例如采用蒙特卡罗方法)，最大限度地区分H0与H1。(即把测量量做线性叠加)必须定义所谓的区分量或甄别量。不同甄别的定义会导致在确定系数中有不同的规则，因此25/03/200915例子：对长寿命K介子的鉴别Eur.Phys.J.C10，1（1999）把一个2-维甄别问题简化为一维甄别问题。为常数，其余为实验观测量0LKh–利用KL0粒子不受磁场影响而且较少发生电磁簇射的特点把它和带电强子区分开来。强子量能器电磁量能器25/03/200916对不同假设下的均值与方差要求对已有的测量量，我们可以计算对应的期待值与协方差()(|)0,1()()()()(|),1,...,()kiikkijkikjkxfxHdxkVxxfxHdxijnx假设分量22()(|)(())(|)TkkkTkkkktxfxHdxatxfxHdxaVa220101p,dfs要求大的与小的使得分布集中在均值附近。(),tx类似地我们还可以导出计算平均值与方差的公式010125/03/200917Fisher甄别函数的定义Fisher定义了一个甄别法2120210)()(aJ0101,1,1()()nnTijijijijijijaaaaBaBa01,1()nTijijijaaVVaWa则()TTaBaJaaWa令0iaJ101()()aW证明见习题因此定义了可求极值的Fisher线性甄别函数J。25/03/200918求Fisher甄别函数的最大值niiixaaxt10)(用任意标度和偏置a0去固定0，12021211200])[(])[(tEtE与假设对应的期待值)(tx若将写成2012201(),Ja求的最大值意味着要将下式最小化Fisher()Ja求函数的最大值就是以后介绍的最小二乘法原理中的一种。25/03/200919高斯分布下Fisher甄别量特点01为假设H0的均值为假设H1的均值而且，两者的协方差矩阵为V0=V1V含偏置的Fisher甄别量为xVaxtT1100)()(利用前面所述的似然比对给定效率条件下的最大纯度11000111(|)11exp()()()()(|)22TTtfxHrxVxxVxfxHetlog(r)+常数(单调变化)Fisher甄别量与似然比等效。如果不是多变量高斯分布，上式不成立。(|)kfxH假设是多变量高斯分布，具有平均值25/03/200920验后概率与逻辑函数000100110(|)()1(|)()(|)()(|)()1()fxHPHPHxPHfxHPHfxHPrHPH贝叶斯定理选择恰当的偏置a0，利用高斯分布下Fisher甄别量的特点，上式可写为)(11)|(0tsexHPt也就是所谓的“逻辑”函数ts(t)x具有相同协方差矩阵的多变量还可给出的简单表达验后概率式，例如验前概率25/03/200921非线性检验统计，神经网络(一)niiixaasxt10)()(1()(1)usue激活函数nxxx..21输入层)(xt输出节点(可以有多个)()Stx是单层的感知器。是单调的,因性的此等效于线如果不同假设下得到实验观测量的概率密度函数与不是高斯或无共同的协方差矩阵，Fisher甄别方法不再适用。此时可以采用更为一般的所谓神经网络方法0(|)fxH1(|)fxH假设统计检验量25/03/200922多层感知器的神经网络推广到多层感知器nxxx..21)(xt隐含层输出定义为)]([)(10xhaasxtinii上一层节点函数可写为njjijiixwwsxh10)()(,iijaw为权重或者联结强度。越多节点神经网络越接近优化的)(xt但需要定更多的参数!25/03/200923神经网络中的误差函数最小化参数取值通常根据误差函数的最小化结果来决定])[(])[(2)1(12)0(0ttEttE这里t(0)，t(1)为目标值，例如选0和1的逻辑函数值实际应用中，通常以蒙特卡罗的训练样本平均值来取代期待值。(调整参数值=神经网络的学习过程)在核物理与粒子物理研究中，是通过定义信号与本底两个样本，从样本中给出每个事例的相关测量量(例如，动量，飞行时间…)，然后直接调用欧洲粒子物理实验室(CERN)提供的物理分析软件包ROOT(基于C++)PAW(基于Fortran)，得到训练后的参数与输出量，并将它们用于待分析的事例来决定其是本底还是信号。具体应用参见下列网站ROOT用户：用户：例子：用神经网络甄别中子信号为了在一个5