粒子物理与核物理实验中的数据分析lecture-13-盲分析方法

粒子物理与核物理实验中的数据分析陈少敏清华大学第十三讲：盲分析方法2本讲要点„什么是盲分析方法？„为什么要用盲分析方法？„几种目前采用的盲分析方法„应用举例„评论3什么是盲分析方法?¾盲分析方法是一种不以预期答案为参照系而进行的实验测量过程。¾最早提出于寻找粒子物理里的稀有物理过程实验研究中。所有数据定义的信号区间所有数据分析均在信号区外进行¾至今为止，盲分析方法已经发展为各自有不同特点的几大类。4采用盲分析方法的动机•盲分析的动机是尽量避免这种偏向性。•下列情况下可能会导致结果有偏向性:¾当实验结果与预期值不一致时，常常认为分析程序有误，并设法找出能使结果“符合”预期值的改进方法，直到两者一致；¾当实验结果与预期值不一致时，给结果寻找额外的系统误差修正；¾以和其它实验结果比较相符作为发表文章的判据；¾在稀有过程中，选择拿掉出现在信号范围内的一个“不满意”的事例(例如，该事例是与期待的粒子类型在粒子鉴别上有两倍标准偏差，等等)。•导致结果因此包含不可定量估计的系统误差。•信号通常隐藏在本底中，并且可能会因探测器的效率影响而发生形状上的改变，产生虚假的信号。•历史上由于上述影响而给出有偏向性的错误结果比比皆是。5实验结果的偏向性在粒子物理与核物理实验中有不少实验结果显示了非常明显的时间相关性，前一次实验与后一次实验要么在误差范围内，要么在几倍误差之外年代中子寿命测量K0S寿命测量6并合不等精度实验结果时的困惑实验结果与理论符合得太好。这会不会是因为：¾实验人员的偏向性，有意无意地与其它实验保持一致？¾系统误差过高估计？¾或者我们只是碰巧得到结果在χ2值计算上偏小？但是χ2/dof远小于12/dof2.1/7χ=不考虑系统误差时7一个有偏实验的例子：“A2分裂”在60年代中期的西欧核子研究中心，一组实验人员试图通过质谱仪观测质量分裂效应ppMMπ−−→+这个A2(现已知是在自旋为2+的九重态中，同位旋为1的一员)出现明显的质量分裂现象，可以用偶极形式来拟合分布这个A2分裂现象被热炒了好几年，让理论物理学家为了解释此现象，提出不少理论假设，例如，非定域场论，等等让人不恰当地联想到它可能象原子能级的超精细结构分裂一样存在某种物理机制。8“A2分裂”例子(续)但是，此后类似的几个实验均未发现任何这种质量分裂效应另外一些别的实验通过A2衰变到不同的K+K-模式，也没有发现任何质量分裂的现象最后在1971年华盛顿美国物理学会年会上，该实验的发言人宣布所观测到的质量分裂结果是由几个没有必要的事例选择条件人为造成的其中的一个选择条件是与“实验运行条件”有关。当拿掉该选择条件以后，再也看不到质量分裂效应了这个例子被广泛任为是“无辜偏向性”的受害者在粒子物理与核物理实验研究中，历史上类似的“无辜偏向性”受害者很多。为了避免这种情况的发生，近几年来盲分析方法渐渐成为潮流。9盲分析方法分类„信号区隐藏法„偏置法„分解法•最适合于对稀有或禁戒物理过程的实验测量；•本底必须从非信号区、或模拟样本、或额外的子实验来估计。•适合于单值测量(例如，测量不对称性)，而且，统计误差已经不是实验上的决定因素；•拟合量中包含随机的符号与偏置；•将实验分解为对若干个子测量量的研究而不看最终结果；•最终结果为各不同子测量量的计算总汇(例如，μ-子磁矩测量中，分别测量μ-子的进动频率与回旋频率差和磁场大小，最后得到μ-子磁矩的测量值)10盲分析方法分类„信号强度变化法„样本分流法•添加随机数目的信号事例数；•可以默认蒙特卡罗模拟的信号非常可靠；•也可利用与信号非常相似，但已知为本底的事例。•将样本按一定比例分流为公开与非公开两部分；•对若干比例(例如，总数据量的10%)的公开样本进行正常分析；•将分析程序固定不变，分析非公开样本，最后的结果只依赖于非公开样本(例如，另外90%的数据)。方法的采用完全取决于实际测量量的特点。11盲分析方法的应用盲分析方法在技术上可以应用到几乎所有的实验分析中，例如稀有或禁戒过程(例如，质子衰变，稀有K、B衰变，等等)精度测量(例如，μ-子磁矩，等等)中微子振荡实验观测电荷宇称破缺测量宇宙常数与质量密度参数宇宙微波辐射背景测量…12在稀有衰变实验的应用“稀有衰变”意味着¾衰变概率(分支比)还没有测量，或者知之甚少¾本底非常大，需要强大的本底压缩能力信号区Sideband2Sideband1Sideband4Sideband3Sideband5这种情况下非常需要盲分析的方法•对于采用“切割和计数”的数据分析方法，应先把信号区藏起来•信号区可先由比较松的切割条件来定义•盲分析意味着通过对信号区外本底的研究来确定事例选择条件，使得它们能应用到信号区的本底事例去除工作上•信号外区域用于研究本底在各个观测量上显现的各种特点13在稀有衰变实验的应用(续)•最终的信号样本是通过对许多甄别量进行“切割”或选择来定义•选择条件常按照统计显著水平的期待值(例如多少个σ)来进行优化信号事例数信号事例数+本底事例数•对信号与本底事例数的估计既可以采用蒙特卡罗模拟，也可以直接利用与信号有很多共同特征的本底数据样本。•选择条件的调整与优化一定要尽量避免受到统计涨落的影响。•为了验证选择条件，可将样本随机分为1/3与2/3两部分。•判断选择条件和本底估计有否偏向性，可以通过比较1/3与2/3样本的结果是否在统计上相符来进行。14例子：稀有K衰变中的本底‰因此，为了能够观察到信号，需要在实验上有一个“大规模杀伤性”武器，使得对本底的“杀伤力”至少达到1010！过程事例数所有Κ衰变1010K+→μ+νμ0.6343×1010K+→π+π00.2113×1010K+→μ+νμγ0.0055×1010束流本底25000000电荷交换本底K+n→K0p,K0→p+l-n46000信号110Br()(0.790.12)10Kπνν++−→=±×理论预言：信号区15稀有K衰变中的本底(续一)实验研究的关键：信号特征：一个来自K+衰变的π+与两个不可探测的中微子•π/μ粒子鉴别可以利用π+π0来研究，通过要求事例必须含光子和单能π+来定义信号区之外的本底•光子的识别能力可以利用μ+νμ来研究，通过要求事例必须含单能μ-子来定义信号区之外的本底0KKKKμπννπννππγμνπ+++++++++→→∩=→∩→=有无K+在静止时衰变信号区16稀有K衰变中的本底(续二)全部数据1/3数据2/3数据μ+νμ(γ)π+π0束流本底本底研究最终本底估计Step1Step2Step3Step4打开信号盒子一旦打开盒子以后，不能因为看到了明显的本底事例而修改选择条件Step5一旦打开盒子以后，不能因为看到了明显的本底事例而修改选择条件调整事例选择条件目标：将本底事例→0.1个数据分析流程数据随机分流以降低偏向性17如何做到无偏得本底估计本底bifurcated方法•对某一本底过程选择两个最具“杀伤力”的甄别量•如果这两个甄别量彼此无关，信号区的本底估计可以通过我们对信号区之外的知识来准确估计，即本底=A=BC/D但是，如果存在相关性•ADBC过低估计本底•ADBC过高估计本底验证这种无关性是保证结果无偏的关键。验证这种无关性是保证结果无偏的关键。18如何检验两个甄别量是无关的改变两个甄别量的阈值，定义“准信号区”，比较预言与实际观测结果如果两个甄別量存在相关性，在准信号区A’观测到的事例数将与采用A’之外的信息所给出的预言结果不符。信号区准信号区19甄别量相关时会出现的结果放松γ与π+选择条件观测事例预言事例20x20倍31.820x50倍83.050x50倍2211.1放松γ与π+选择条件观测事例预言事例20x20倍44.920x50倍912.450x50倍2231.1ª重新调整光子选择条件π+γpπG已知π+π0中，其中一光子通常在π+反向为了更有效地将低能光子与噪音分开，曾经有学生采用下列方法如果在带电粒子反方向，探测器显示有响应，则可认为是光子造成的。直接导致光子鉴别条件与π+粒子鉴别条件存在关联。本底估计因此出现偏向性20无相关性检验本底Cχ2Prob.π+π00.850.17μ+νμ1.150.67μ+νμγ1.060.40拟合Nobs.=cNpred.Npred.Nobs.+0.12−0.11+0.25−0.21+0.35−0.29参数c与1的偏离体现了可能存在的相关性，其大小应反映到本底估计的系统误差上。参数c与1的偏离体现了可能存在的相关性，其大小应反映到本底估计的系统误差上。21盲分析方法可能出现的“恶梦”¾两个bifurcated的选择条件出现了关联本底估计为0.1±0.1，打开盒子以后观察到10个事例而预期值不大于1个，表明分析过程可能存在严重问题(当然也可能是重大发现!)。¾出现病理性的本底它出现于某一观测量包含了与两个bifurcated的选择条件的关联关系，破坏了应用bifurcated无偏估计信号区本底的前提条件本底极有可能被严重低估了，因为包括探测器在某一时段工作不正常，或分析中出现漏洞，而将明显本底的事例被当作信号，这种情况很罕见。唯一解决的方法是：检查信号区外的所有事例，观察有没有明显的漏洞处理方法一：分析失败，无实验结果发表。处理方法二：分析失败，根据泊松分布以实际观测事例数为均值，计算90%置信水平对应的误差给出上限值。22隐藏偏置的方法在拟合程序中加入一个固定的未知伪随机数ℜ，使得拟合参数变为*xx=+ℜ•伪随机数ℜ来自对均值为0,标准误差为几个σ(实验)正态分布抽样•似然函数应该包含由于加入伪随机数ℜ而引起的偏置，使得拟合的真实结果不能直接从似然函数的最大值处直接得到。•拟合结果此时变为x*以及真实的误差与似然函数•两组分析包含不同的ℜ平行进行，通过调整分析程序，使得x*达到最优。分析程序的正确与否，可以通过不含ℜ的蒙特卡罗研究来检验。•真实结果因此而被隐藏起来，不会因为实验者自身对x了解，而在确定事例选择条件时产生主观偏向性。•直到分析结束后，才能把各自的ℜ去掉以后(打开盒子)得到。23隐藏偏置的方法举例•在测量正反物质不对称实验中真实的分布改动的分布1Offset(Blind)1tagsttign⎧⎫=××+⎨⎬−⎩⎭ΔΔ伪随机偏置量•改动以后的Δt分布，已经把真实的中心值隐藏起来。不同分析的小组无法通过交流结果来修正分析程序。•完成分析以后，将上述的伪随机偏置量拿掉，得到真实的结果。24对盲分析方法的一点评论盲分析方法有助于实验人员增加对自己结果的可信度。粒子物理核物理研究中，流传很广的一句话：“做理论的只相信自己，不相信别人，做实验的只相信别人，不相信自己。”但是，盲分析方法并能保证结果一定是完全无偏或者一定是正确的。是否做到真正意义上的盲分析方法，还有赖于实际实验数据分析人员的自觉性。9稀有K衰变之E787/E949实验9K介子系统的电荷宇称破缺之KTeV实验9B介子系统的电荷宇称破缺之BaBar实验9μ-子磁矩测量之g-2实验9引力波测量之LIGO实验一些成功利用盲分析方法的实验：25小结„什么是盲分析方法？„为什么要用盲分析方法？„几种目前采用的盲分析方法„应用举例„评论盲分析方法是一种不以预期答案为参照系而进行的实验测量过程采用盲分析方法是为了避免实验测量结果中可能包含人为的偏向性信号区隐藏法，偏置法，分解法，信号变化法，样本分流法在盲分析失效情况下的两种处理方法(或不发表结果，或只给出上限)盲分析只增加实验者自己对结果的信心，对外人不具真伪判别意义