诊断试验与ROC曲线分析

诊断试验与ROC曲线分析目录一、基本概念1.诊断试验四格表基本统计基本指标2.ROC曲线：二、实例分析1）各诊断项目（变量）分别诊断效果分析：2）诊断模型分析：3）比较两预测模型：4）时间依赖的ROC曲线(Time-dependentROC)分析一、基本概念1.诊断试验四格表基本统计基本指标诊断试验金标准诊断结果合计患病（D+）未患病（D-）阳性a（真阳性）b（假阳性）a+b阴性c（假阴性）d（真阴性）c+d合计a+cb+dN=a+b+c+d1)检测患病率(prevalence):是指被检测的全部对象中，检测出来的患者的比例。即：检测患病率=(a+b)/(a+b+c+d)2)实际患病率(prevalence):是指被检测的全部对象中，真正患者的比例。即：实际患病率=(a+c)/(a+b+c+d)。实际患病率对被评价的诊断试验也称为验前概率，而预测值属于验后概率。3)敏感性:敏感性就是指由金标准确诊有病组内所检测出阳性病例数的比率（%）。即本实验诊断的真阳性率。其敏感性越高，漏诊的机会就越少。即：敏感性=a/(a+c)4)特异性:是指由金标准确诊为无病组内所检测出阴性人数的比率（%），即本诊断实验的真阴性率。特异性越高，发生误诊的机会就越少。即：特异性=d/(b+d)5)诊断准确率:是指临床诊断检测出的真阳性和真阴性例数之和，占总检测人数的比例，即称本临床实验诊断的准确性。即：准确性=(a+d)/(a+b+c+d)6)阳性似然比（positivelikelihoodratio）:阳性似然比是指临床诊断检测出的真阳性率与假阳性率之间的比值，即阳性似然比=敏感性/（1-特异性）=(a/(a+c))/(b/(b+d))。可用以描述诊断试验阳性时，患病与不患病的机会比。提示正确判断为阳性的可能性是错误判断为阳性的可能性的倍数。阳性似然比数值越大，提示能够确诊患有该病的可能性越大。它不受患病率影响，比起敏感度和特异度更为稳定。7)阴性似然比（negativeliklihoodratio）:阴性似然比是指临床实验诊断检测出的假阴性率与真阴性率之比值，此值越小，说明该诊断方法越好。可用以描述诊断试验阴性时，患病与不患病的机会比。阴性似然比提示错误判断为阴性的可能性是正确判断为阴性的可能性的倍数。阴性似然比数值越小，提示能够否定患有该病的可能性越大。阴性似然比=（1-敏感性）/特异性=(c/(a+c))/(d/(b+d))8)诊断比值比（OR）:阳性似然比与阴性似然比的比值。数值越大，表明诊断试验区分患者与非患者的能力越大。诊断比值比=(a/(a+c)/(b/(b+d))/(c/(a+c)/(d/(b+d)))=(ab)/(cd)9)诊断所需检测数(NND):真阳性率（敏感度）与假阳性率（1-特异度）的差的倒数。诊断所需检测数,(NND)=1/(a/(a+c)-b/(b+d))10)Yuden指数:Yuden指数=敏感性+特异性-1=a/(a+c)+d/(b+d)-111)阳性预测值(postivepredictivevalue):又称预测阳性结果的正确率，是指待评价的诊断试验结果判为阳性例数中，真正患某病的例数所占的比例。即：阳性预测值=真阳性/（真阳性+假阳性）=a/(a+b)12)阴性预测值(negativepredictivevalue):又称预测阴性结果的正确率，是指临床诊断实验检测出的全部阴性例数中，真正没有患本病的例数所占的比例。即：阴性预测值=真阴性/（真阴性+假阴性）=d/(c+d)2.ROC曲线：1)概念：称受试者工作曲线，可以综合考虑一项诊断试验(定量指标)或预测模型（模型的预测值）在所有诊断界值时的灵敏度和特异度。对于每一个诊断界值，都可以得到相应的灵敏度和特异度。ROC曲线是以（1-特异度）为横坐标，以灵敏度为纵坐标绘制而成的曲线，它用线段连接每个诊断界值对应的[（1-特异度），灵敏度]的点。对于连续变量，诊断界值可以取任意一个。对有序分类变量，由不同的诊断结果作为诊断界值时，对应于不同的灵敏度和特异度，将每种诊断结果对应的[（1-特异度），灵敏度]的点，标在直角坐标系中，用线段连接各相邻两点，即为有序分类资料的ROC曲线。2)ROC曲线下面积（AUC）：表示所有灵敏度时诊断试验平均特异度，或者所有特异度时诊断试验的平均灵敏度。通常，ROC曲线下面积在0.5-1之间。曲线下从原点到右上角的对角线称为机会线，表示无论取任诊断界值，灵敏度=1-特异度，即真阳性率=假阳性率，意味着无论患者和非患者都有同样的“机会”被诊断为阳性。ROC曲线越接近机会线，即曲线下面积越接近0.5，表明诊断试验区分患者和非患者的能力越弱；越接近1，表明诊断试验的准确度越强。一般认为，0.50-0.70之间，诊断价值较小；0.70-0.90之间，诊断价值中等；0.90，诊断价值较高。最理想的诊断试验的ROC曲线是从坐标原点出发，沿着Y轴到（0，1）点，再沿着X轴的水平线到（1，1）点。在比较ROC曲线下面积时，还应考虑到实际临床应用情况。比如，某项诊断试验主要用于排除疾病时，则需要较高的特异度，这是我们仅对左侧的ROC曲线（即高特异度的ROC曲线部分）下的面积感兴趣。通过检验AUC是否等于0.5来评价某诊断试验有无诊断价值。3)诊断界值确定：实际工作中，人们希望找到灵敏度和特异度均接近“1”的点。横轴为（1-特异度），所以横轴原点就是特异度为1的点，因此我们要找的点就是距ROC曲线图中左上角最近的点，也就是（灵敏度+特异度）取最大值的点。如果认为灵敏度的重要性是特异度的a倍，此时可选取（a*灵敏度+1*特异度）取值最大的点。在实际应用中，可以根据不同的研究目的确定阈值，如果诊断试验目的是筛查本病时，宜选在误诊率充许的范围内灵敏度较高的截断点，此时保证了漏诊率低；若试验目的为确诊本病，则宜选在漏诊率充许范围内特异度较高的截断点，此时误诊率低。CutpointselectionOneofthebest-knownmethodsisbasedonselectingthecutpointthatprovidesthesamevalueforthesensitivityandspecificity.Thispointisknownastheequivalenceorsymmetrypoint(Greiner,1995;Defreitasetal.,2004;Adlhochetal.,2011).Graphically,itcorrespondswiththeoperatingpointontheROCcurvethatintersectstheperpendiculartothepositivediagonalline,thatis,y=1−x,wherexisthefalsepositiverate.Thesymmetrypointcanalsobeseenasthepointthatmaximizessimultaneouslybothtypesofcorrectclassifications(RiddleandStratford,1999;Gallopetal.,2003),thatis,itcorrespondstotheprobabilityofcorrectlyclassifyinganysubject,whetheritishealthyordiseased(Jiménez-Valverde,2012,2014).Additionally,theincorporationofcostsforthemisclassificationratesintheestimationofoptimalcutpointsiscrucialforevaluatingnotonlythetestaccuracybutalsoitsclinicalefficacy,althoughthisaspectisnottakenintoaccountmostofthetimes.So,aninterestinggeneralizationoftheequivalenceorsymmetrypoint,cS,thattakesintoaccountthecostsassociatedtothefalsepositiveandfalsenegativemisclassifications,CFPandCFN,respectively,isthegeneralizedequivalencepointorgeneralizedsymmetrypoint,cGS,thatsatisfiesthefollowingequation:ρ(1−Sp(cGS))=(1−Se(cGS)),(1)whereρ=CFP/CFNistherelativeloss(cost)ofafalse-positivedecisionascomparedwithafalse-negativedecision(seeLópez-Ratónetal.,2016,formoredetails).Similarlytothesymmetrypoint,thiscostbasedgeneralizationisobtainedbyintersectingtheROCcurveandtheliney=1−ρx,wherexisthefalsepositiverate.Obviously,whenρ=1inEquation1,thegeneralizedsymmetrypointyieldsthetraditionalsymmetrypoint.Thereadercanseesomemedicalexamples,thathavetakenintoaccountthemisclassificationcostsintheirROCanalysis,inthereviewconductedbyCantoretal.(1999)wheretheCost/Benefit(C/B)ratioisdiscussed(C/B=1/ρ).Additionally,SubtilandRabilloud(2015)includesomecommonvaluesfortheC/Bratio(C/B=2,5,10,100).HighvaluesofC/Bratiomeanthatitisconsideredmoreharmfulnottotreatadiseasedindividualthantotreatahealthyone.二、实例分析例1：练习项目diagpred（点击“打开现有分析项目”，点击“练习用的项目”，选diagpred）使用的练习数据diagpred.xls中outcome为金标准结果（0/1）变量，另有四项诊断试验结果变量：X1、X2、X3、X4，及X5、Age、Gender变量。使用易侕统计软件分析各诊断项目，及其不同诊断模型的诊断效果。点击“数据分析”主菜单，选“诊断试验与预测方程”，再选“诊断试验与ROC分析”。1）各诊断项目（变量）分别诊断效果分析：输入界面：此处选择分析方法1：逐个X（检测项目）分析。如果设置Bootstrapsmooth重采样次数，将做平滑曲线ROC曲线，这样运算时间比较长。输出结果：结局变量:OUTCOME分类性检测指标敏感度与特异度分析检测项目10似然比(LR)敏感度特异度阳性预测值阴性预测值准确度阳性似然比阴性似然比诊断比值比诊断需要检测数X10.24390.61110.26320.58670.47790.62721.23730.5069-6.8972110280.6272031441.2373X412370.0949212201.05373130.58544881.756151847.9024X51280Inf3130Inf4060.000050660.0000计量型检测指标ROC曲线分析检测项目10ROC面积(AUC)95%区间下限95%区间上限最佳阈值特异度敏感度X