定性检测质量指标与性能评估

定性检测性能评估方法中南大学湘雅医院检验科胡丽涛2013年6月21日一．概念和术语二．评估前准备三．定性检测质量指标的内容四．具体评估内容主要内容概念和术语定性试验（qualitativetests）：只提供两种结果的检测方法（阴性或阳性，是或否，正常或异常）。根据临床用途可分为：筛查试验（screeningtests）：用来检查被分析物在全部人群或者部分人口亚群中的存在情况，如梅毒血清学试验。诊断试验（diagnostictests）：通常用于特殊的疾病或者临床有怀疑的情况，比如各种微生物的培养用于感染的诊断。确诊试验（confirmatorytests）：对于筛查实验和诊断实验结果进一步确认的实验，荧光梅毒螺旋体抗体吸附试验。概念和术语分析敏感性analyticalsensitivity/测定下限detectionlimits可重复检测出待测物质的最低浓度水平。临床敏感性clinicalsensitivity当特定疾病存在时，患者标本检测结果为阳性或超过正常值范围的比率。分析特异性analyticalspecificity一种检测方法仅对样本中的待测物质反应，而与其它物质不发生反应的能力。临床特异性clinicalspecificity当特定疾病不存在时，患者标本检测结果为阴性或者在正常值范围内的比率。C50处于或接近临界值的分析物浓度，多次重复检测此浓度的单一样本时将获得50%的阳性结果和50%的阴性结果。C5检测浓度为C5的分析物时将产生5%的阳性结果。用浓度C5的样本进行重复性检测时，将持续得到阴性结果。C95检测浓度为C95的分析物时将分别产生95%的阳性结果。用浓度C95的样本进行重复性检测时，将持续得到阳性结果。评估前准备——仪器设备的培训和熟悉1.厂家工程师对科室相应工作人员进行培训2.培训过程中要求操作人员实际操作3.培训完成之后科室应该组织相应的考核及评估4.若考核不合格，应进行再培训再评估评估前准备——仪器设备的培训和熟悉样本的收集、处理和贮存试剂的接收、处理和贮存正确的实验操作建立并正确执行常规质量控制程序合理地解释结果具体时间并没有严格的要求，可视仪器复杂程度而定。评估前准备——评估材料和方法1.质控品：选择合适的质控品按照厂家提供的试剂盒说明进行使用不同方法间比较，需采用同一质控物有些定性检测方法提供定量结果，可通过类似定量的方法来确定检测性能2.样本的采集及处理标本的采集要严格按照操作规程进行强调尽量采用新鲜标本关注标本采集的时间评估前准备——评估材料和方法•精密度：包括定性测定的精密度和可以COI（cut-offIndex）或S/CO比值报告结果的精密度评价两类。•准确度：特定的定性免疫测定系统或试剂或试验的准确度以与临床诊断、金标准方法和经过验证确认血清样本盘的检测比较来评价，常以敏感性（包括临床敏感性）/特异性（包括临床特异性）和阳性符合率/阴性符合率来表示。•分析敏感性(即最低检出下限)。•对转化血清盘的检测能力。•分析特异性（交叉反应）。•干扰因素。临床定性检测的分析质量控制指标1.不精密度的来源•样本状态及处理；•样本、试剂的运输和贮存条件；•操作人员；•环境条件；•仪器、试剂或检测系统；•检测程序（加样、温育、洗涤、结果判读时间等）临床检验定性测定精密度2.不精密度的评估方法定性测定的精密度（只提供两种检测结果的定性检测）可以COI（cut-offIndex）或S/CO比值报告结果的精密度评价。临床检验定性测定精密度定性测定精密度的要求（只提供两种结果的定性检测）•定性测定精密度分析质量指标为C5-C95浓度区间（亦即“灰区”），这一区间范围≤C50±20%。临床定性检验定性测定精密度具体工作阴阳性质控对照接近临界值浓度的分析物接近C50浓度分析物的重复性试验接近临界值浓度的分析物C50：同一样品被分析物在重复性测试中的阳性率和阴性率各占50%的浓度。临界值“95%区间”：重复测定临界值浓度上下的标本，阴性和阳性率分别为95%的浓度范围。如何获得C50？检测试剂或系统说明书可能会注明分析物的临界浓度，实验室人员需要通过复现性研究对临界点（C50）进行验证。如果临界浓度未知，则可以将阳性样本进行一系列稀释，然后将他们进行重复检测以确定能够获得50%阳性和50%阴性结果的那个稀释度。这一稀释度的分析物浓度即为临界点（C50）。不精密度曲线两种不同方法的不精密度曲线比较接近C50浓度分析物的精密度试验目的：（1）确定检测方法的临界值浓度（验证）；（2）确定该临界值±20%浓度范围是否位于C5-C95区间内。精密度试验——步骤标本准备（临界点浓度及其±20%）重复测定次数（40次）计算阴阳性率数据分析C50浓度分析物是否正确？序号结果结果分析（40次测试）结论（C50）1阳性结果=13/40(32.5%)不正确=27/40(67.5%)2阳性结果（14~26）/40（35%~65%）正确不同C50重复检测次数与检出阳性数的关系候选方法的C50±20%浓度范围是否包含了C5~C95区间？候选方法的C50±20%浓度范围是否包含了C5-C95区间？有些定性免疫测定，如ELISA、CLIA等，样本的测定结果可以COI（cut-offIndex）或S/CO比值来表示，通过计算批内和批间变异来进行精密度评价。批内精密度是指严格的相似条件下，所得到的最佳的精密度；批间精密度指在同一实验室，由同一（组）操作员在同一仪器上，使用同一方法和同种、同一批号试剂，在一段时间内(一般为一个月或20个工作日)对同一检测样本（常用质控品）测量结果的精密度。以COI（cut-offIndex）或S/CO比值报告结果的精密度评价批内精密度的评估•试剂和校准品：可使用不同批号的试剂和校准物。•评估方法：三个不同浓度（参考试剂盒说明书）的样本，在一个测试批内重复进行至少20个检测，计算所得S/CO值的均值和SD，计算批内CV%。•质量控制：检验时应同时至少测一个质控品。当质控品结果超出规定的失控限，不论实验结果是否满意都应弃去不用，重新进行试验以取得实验数据。要保存所有的质控数据和失控处理记录。批内精密度的要求•批内变异系数应10%，同时应不大于试剂盒说明书指出的批内CV%的10%。以COI（cut-offIndex）或S/CO比值报告结果的精密度评价批间精密度的评估•试剂和校准品。可使用使用不同批号的试剂和校准物。•评估方法。三个不同浓度（参考试剂盒说明书）的样本，在10天以上时间内单次（孔或管）重复进行至少20批检测，计算所得S/CO值的均值和SD，计算批间CV%。•质量控制。检验时应同时至少测一个质控品。当质控品结果超出规定的失控限，不论实验结果是否满意都应弃去不用，重新进行试验以取得实验数据。要保存所有的质控数据和失控处理记录。批间精密度的要求•批间变异系数应小于15%，同时应不大于试剂盒说明书指出的批间CV%的20%。以COI（cut-offIndex）或S/CO比值报告结果的精密度评价•批内标准差；•批内变异系数；•批间标准差；•批间变异系数；•实验进行的工作天数；•检验批次数；•每个批次重复检测数和总检测数。临床检验定性测定精密度——报告内容特定的定性测定系统或试剂的准确度以与临床诊断、金标准方法和经过验证确认血清样本盘的检测比较来评价，常以敏感性（包括临床敏感性）/特异性（包括临床特异性）和阳性符合率/阴性符合率来表示。临床定性测定准确度评估试验样本：量、标本类型、标本新鲜等。样本含量：至少50/50阴阳性标本。实验持续时间：10-20天数据的收集：制定实验记录表格收集数据。不一致结果的解释结合临床诊断临床定性测定准确度评估1.诊断明确时定性方法性能评价计算灵敏度和特异性。下表为检测方法与明确诊断比较的2×2列联表，表中列出了定性检测的结果与患者的明确诊断结果。预估灵敏度（sens）=100%[A/(A+C)]预估特异性（spec）=100%[B/(B+D)]患病率（prev）=100%[(A+C)/N]阳性预测值（PVP）=100%[A/(A+B)]阴性预测值（PVN）=100%[D/(C+D)]检验效能=100%[(A+D)/N]灵敏度、特异性、预测值及检验效能的计算方法上述方法的缺点:不清楚所选择的样本其是否具有代表性或代表性很差，因此计算灵敏度和特异性就很不现实，此时需要通过计算置信限（可信区间）来量化随机取样导致的影响。计算灵敏度和特异性的可信区间当试验方法的灵敏度和特异性都优于可比较方法时，还需要进行联合灵敏度/特异性统计，视其有差异进一步判断哪种方法的效能更高。通常采用试验方法、可比较方法和临床诊断三组两两比较的方式报告。计算检测（可比较）方法灵敏度灵敏度差异的95%可信区间计算公式：计算参数灵敏度差异的95%可信区间计算公式：计算参数计算检测（可比较）方法特异性特异性差值=特异性差异的95%可信区间计算公式：计算参数特异性差异的95%可信区间计算公式：计算参数诊断明确时定性方法性能评价（举例）试验方法和比对方法检测102为确诊为感染幽门螺旋菌的患者的血清，所得结果见列表。表1检测方法与诊断明确时的2x2列链表试验方法金标准合计阳性阴性阳性57259阴性43943合计6141102试验方法性能参数诊断明确时定性方法性能评价（举例）灵敏度(sens)=100%[A/(A+C)]=100%[57/61]=93.4%特异度(spec)=100%[D/(B+D)]=100%[39/41]=95.1%患病率=100%(A+C)/N=100%(61/102)=59.8%阳性预测值(PVP)=100%[A/(A+B)]=100%(57/59)=96.6%阴性预测值(PVN)=100%[D/(C+D)]=100%(39/43)=90.7%效能=100%[(A+D/N)]=100%(96/102)=94.1%诊断明确时定性方法性能评价（举例）灵敏度=100%（57/61）=93.4%计算95%得分可信区间：Q1=2×57+3.84=117.84Q2=1.96=8.496Q3=2×61+7.68=129.68100%（Q1-Q2）/Q3=100%（117.84-8.496）/129.68=84.3%100%（Q1+Q2）/Q3=100%（117.84+8.496）/129.68=97.4%灵敏度的95%得分可信区间是[84.3%，97.4%]。检测方法的灵敏度：检测方法的特异度：诊断明确时定性方法性能评价（举例）特异度=100%(39/41)=95.1%计算95%得分可信区间：Q1=2×39+3.84=81.84Q2=1.96=6.632Q3=2×41+7.68=129.68100%（Q1-Q2）/Q3=100%（81.84-6.632）/89.68=83.9%100%（Q1+Q2）/Q3=100%（81.84+6.632）/89.68=98.7%特异度的95%得分可信区间是[84.6%,98.7%]。表2可比较方法与诊断明确的2x2列链表比较方法金标准合计阳性阴性阳性57761阴性73441合计6141102诊断明确时定性方法性能评价（举例）比较方法性能参数灵敏度(sens)=100%[A/(A+C)]=100%[54/61]=88.5%特异度(spec)=100%[D/(B+D)]=100%[34/41]=82.9%患病率=100%(A+C)/N=100%(61/102)=59.8%阳性预测值(PVP)=100%[A/(A+B)]=100%(54/61)=88.5%阴性预测值(PVN)=100%[D/(C+D)]=100%(34/41)=82.9%效能=100%[(A+D/N)]=100%(88/102)=86.3%诊断明确时定性方法性能评价（举例）可比较方法性能参数诊断明确时定性方法性能评价（举例）可比较方法性能参数诊断明确时定性方法性能评价（举例）从上面的两个列联表看出•候选方法的灵敏度93.5%高于可比对方法的灵敏度88.5%•候选方法的特异性95.1%高于可