CNAS-GL002-2018 能力验证结果的统计处理和能力评价指南

2018年3月1日发布2020年9月1日第一次修订2020年9月1日实施CNAS—GL002能力验证结果的统计处理和能力评价指南GuidanceonStatisticTreatmentofProficiencyTestingResultsandPerformanceEvaluation中国合格评定国家认可委员会CNAS-GL002:2018第1页共20页2018年3月1日发布2020年9月1日第一次修订2020年9月1日实施目次前言....................................................................21范围................................................................32规范性引用文件......................................................33术语和定义..........................................................34统计处理和能力评价..................................................4附录A检测能力验证计划常用稳健统计方法................................11附录B能力验证计划结果示例............................................14附录C测量审核结果的评定..............................................20CNAS-GL002:2018第2页共20页2018年3月1日发布2020年9月1日第一次修订2020年9月1日实施前言本文件为能力验证结果的统计处理和能力评价提供指南。本文件依据GB/T27043《合格评定能力验证的通用要求》制订，同时参考了GB/T28043《利用实验室间比对进行能力验证的统计方法》。GB/T28043给出了能力验证统计方法的更详细指南，使用本文件时，可同时参考GB/T28043。CNAS-GL002:2018第3页共20页2018年3月1日发布2020年9月1日第一次修订2020年9月1日实施能力验证结果的统计处理和能力评价指南1范围1.1本文件为能力验证结果的统计处理和能力评价提供指南。1.2本文件适用于CNAS的能力验证，也可为其他机构组织能力验证提供参考。2规范性引用文件下列文件中的条款通过引用而成为本文件的条款。以下引用的文件，注明日期的，仅引用的版本适用；未注明日期的，引用文件的最新版本（包括任何修订）适用。CNAS-RL02能力验证规则CNAS-GL003能力验证样品均匀性和稳定性评价指南GB/T27043合格评定能力验证的通用要求（ISO/IEC17043，IDT）GB/T28043利用实验室间比对进行能力验证的统计方法（ISO13528，IDT）GB/T6379测量方法与结果的准确度（正确度和精密度）（ISO5725，IDT）ISO/IEC指南98-3测量不确定度第3部分：测量不确定度的表示指南ISO/IEC指南99：2007国际计量学词汇基础和通用概念及相关术语IUPAC技术报告分析化学实验室能力验证国际协议3术语和定义CNAS-RL02、GB/T27043、GB/T28043、ISO/IEC指南99界定的术语和定义适用于本文件。为方便使用，重复列出以下术语和定义：3.1实验室间比对interlaboratorycomparison按照预先规定的条件，由两个或多个实验室对相同或类似的物品进行测量或检测的组织、实施和评价。3.2能力验证proficiencytesting利用实验室间比对，按照预先制定的准则评价参加者的能力。3.3指定值assignedvalue对能力验证物品的特定性质赋予的值。3.4能力评定标准差standarddeviationforproficiencyassessment根据可获得的信息，用于评价能力验证结果分散性的度量。注1：标准差只适用于比例尺度和定距尺度的结果。注2：并非所有的能力验证计划都根据结果的分散性进行评价。3.5z比分数z-score由能力验证的指定值和能力评定标准差计算的实验室偏倚的标准化度量。CNAS-GL002:2018第4页共20页2018年3月1日发布2020年9月1日第一次修订2020年9月1日实施注：z比分数有时也称为z值或z分数。3.6离群值outlier一组数据中被认为与该组其他数据不一致的观测值。注：离群值可能来源于不同的总体，或由于不正确的记录或其他粗大误差的结果。3.7稳健统计方法robuststatisticalmethod对给定概率模型假定条件的微小偏离不敏感的统计方法。3.8测量审核measurementaudit一个参加者对被测物品(材料或制品)进行实际测试，其测试结果与参考值进行比较的活动。注：测量审核是对一个参加者进行“一对一”能力评价的能力验证计划。4统计处理和能力评价4.1总则能力验证的结果可以以多种形式出现，并构成各种统计分布。分析数据的统计方法应与数据类型及其统计分布特性相适应。分析这些结果时，应根据不同情况选择适用的统计方法。各种情况下优先使用的具体方法，可参见GB/T28043。对于其他方法，只要具有统计依据并向参加者进行了详细描述，也可使用。无论使用哪一种方法对参加者的结果进行评价，一般包括以下几方面内容：a）指定值的确定；b）能力统计量的计算；c）能力评定。必要时，考虑能力验证物品的均匀性和稳定性对能力评定的影响。能力验证物品均匀性和稳定性的评价方法见CNAS-GL003《能力验证样品均匀性和稳定性评价指南》、GB/T28043和IUPAC技术报告。4.2统计设计4.2.1应根据数据的特性（定量或定性，包括顺序和分类）、统计假设、误差的性质以及预期的结果数量，制定符合计划目标的统计设计。在统计设计中应考虑下列事项：a）能力验证中每个被测量或特性所要求或期望的准确度（正确度和精密度）以及测量不确定度；b）达到统计设计目标所需的最少参加者数量；当参加者数量不足以达到目标或不能对结果进行有意义的统计分析时，应将评定参加者能力的替代方法的详细内容提供给参加者；c）有效数字与所报告结果的相关性，包括小数位数；d）需要检测或测量的能力验证物品数量，以及对每个能力验证物品或每项测定的检测、校准或测量的重复次数；CNAS-GL002:2018第5页共20页2018年3月1日发布2020年9月1日第一次修订2020年9月1日实施e)用于确定能力评定标准差或其它评定准则的程序；f)用于识别和（或）处理离群值的程序；g)只要适用，对统计分析中剔除值的评价程序；h)只要适当，与设计相符的目标和能力验证轮次的频率。4.2.2在缺少统计设计所需的可靠信息时，可通过开展先期实验室间比对来获得。4.3指定值及其不确定度的确定4.3.1指定值的确定有多种方法，以下列出最常用的方法。在大多数情况下，按照以下次序，指定值的不确定度逐渐增大。a）已知值——根据特定能力验证物品配方（如制造或稀释）确定的结果；b）有证参考值——根据定义的检测或测量方法确定（针对定量检测）；c）参考值——根据对能力验证物品和可溯源到国家标准或国际标准的标准物质/标准样品或参考标准的并行分析、测量或比对来确定；d）由专家参加者确定的公议值——专家参加者（某些情况下可能是参考实验室）应当具有可证实的测定被测量的能力，并使用已确认的、有较高准确度的方法，且该方法与常用方法有可比性；e）由参加者确定的公议值——使用GB/T28043和IUPAC国际协议等给出的统计方法，并考虑离群值的影响。例如，以参加者结果的稳健平均值、中位值（也称为中位数）等作为指定值。附录A给出了由参加者结果确定指定值的常用稳健统计方法。4.3.2对上述每类指定值的不确定度，可参照GB/T28043等所描述的方法进行评定。此外，ISO/IEC指南98-3中给出了确定不确定度的其它信息。4.3.3指定值的确定应确保公平地评价参加者，并尽量使检测或测量方法间吻合一致。只要可能，应通过选择共同的比对小组以及使用共同的指定值达到这一目的。4.3.4对定性数据[也称为“分类的”或“定名的”值]或半定量值[也称为“顺序的”值]，其指定值通常需要由专家进行判断或由制造过程确定。某些情况下，可使用大多数参加者的结果（预先确定的比例，如80%或更高）来确定公议值。该比例应基于能力验证计划的目标和参加者的能力和经验水平来确定。4.3.5离群值可按下列方法进行统计处理：a）明显错误的结果，如单位错误、小数点错误、计算错误或者错报为其他能力验证物品的结果，应从数据集中剔除，单独处理。这些结果不再计入离群值检验或稳健统计分析。明显错误的结果应由专家进行识别和判断。b）当使用参加者的结果确定指定值时，应使用适当的统计方法使离群值的影响降到最低，即可以使用稳健统计方法或计算前剔除离群值。c）如果某结果作为离群值被剔除，则仅在计算总计统计量时剔除该值。但这些结果仍应当在能力验证计划中予以评价，并进行适当能力评定。4.3.6需考虑的其他事项CNAS-GL002:2018第6页共20页2018年3月1日发布2020年9月1日第一次修订2020年9月1日实施a）理想情况下，如果指定值由参加者公议确定，应当有确定该指定值正确度和检查数据分布的程序。例如，可采用将指定值与一个具备专业能力的实验室得到的参考值进行比较等方法确定指定值的正确度。通常，正态分布是许多数据统计处理的基础。正态分布的特点是单峰性、对称性、有界性和抵偿性。作为一个能力验证计划的结果，由于参加者的测试方法、测试条件往往各不相同，而且能力验证结果的数量也是有限的，所以在许多情况下能力验证的结果呈偏态分布。对能力验证的结果只要求近似正态分布，尽可能对称，但分布应当是单峰的，如果分布中出现双峰或多峰，则表明参加者之间存在群体性的系统偏差，这时应研究其原因，并采取相应的措施。例如，可能是由于使用了产生不同结果的两种检测方法造成的双峰分布。在这种情况下，应对两种方法的数据进行分离，然后对每一种方法的数据分别进行统计分析。数据直方图或核(Kernel)密度图可以显示结果的分布情况。b）应当有依据不确定度来判断指定值是否可接受的准则。在GB/T28043和IUPAC国际协议中给出了该准则，该准则是基于限定指定值不确定度对能力评定的影响而建立的，即：准则限定了由于指定值的不确定度而使参加者得到一个不可接受的评估结果的可能性。4.4能力统计量的计算4.4.1定量结果4.4.1.1能力验证结果通常需要转化为能力统计量，以便进行解释和与其他确定的目标作比较。其目的是依据能力评定准则来度量与指定值的偏离。所用统计方法可能从不做任何处理到使用复杂的统计变换。注：“能力统计量”也称为“性能统计量”。4.4.1.2能力统计量对参加者应是有意义的。因此，统计量应适合于相关检测，并在某特定领域得到认同或被视为惯例。4.4.1.3按照对参加者结果转化由简至繁的顺序,定量结果的常用统计量如下：a）差值D，由（1）式计算：DxX…………………（1）式中：x为参加者结果；X为指定值。b）百分相对差%D，由（2）式计算：%100xXDX…………………（2）c）z比分数，由（3）式计算：CNAS-GL002:2018第7页共20页2018年3月1日发布2020年9月1日第一次修订2020年9月1日实施ˆxXz…………………（3）式中：ˆ为能力评定标准差。ˆ可由以下方法确定：——与能力评价的目标和目的相符，由专家判定或法规规定（规定值）；——根据以前轮次的能力验证得到的估计值或由经验得到的预期值（经验值）；——由统计模型得到的估计值（一般模型）；——由精密度试验得到的结果；——由参加者结果得到的稳健标准差、标准化四分位距、传统标准差等。具体方法参见附录A和GB/T2804