ROC分析方法概要

第二章ROC曲线分析概要本文先介绍了ROC理论的一些基础知识如特异度和灵敏度等，然后简要介绍了非参数ROC分析方法，并建立了ROC模型。最后介绍了ROC曲线及在R软件中的绘制。2.1ROC分析的基本要素ROC分析的基本要素包括真阳性和假阳性也称灵敏度和特异度，以及“金标准”“金标准”划分被测试者的真实状态为对照组和病例组两类。常见的金标准有跟踪随访、活组织检查、尸体解剖、手术探查等。虽然“金标准”没有必要是十全十美的，但“金标准”应与评价的诊断系统无关，而且比要评价的诊断系统更可靠。“金标准”不够完美时，可用采用Bayesian、模糊金标准、EM估计等方法解决。对按照“金标准”确定的二分类总体，对照组和病例组分别用阴性和阳性表示诊断试验结果。假定总体样本量是N，诊断试验的可能结果总共有四种：被测试者患病且被正确诊断为患病者，被测试者无病且被错误诊断为患病者，被测试者无病且被正确诊断为无病者，被测试者无病且被错误诊断为患病者。我们可以用一个2×2的列联表来表示它们之间的关系。诊断结果“金标准”合计患病者健康者阳性a(真阳性)b(假阳性)a+b阴性c(假阴性)d(真阴性)c+d合计a+cb+da+b+c+d=N在医学研究中，诊断试验准确度指标最常用的是灵敏度与特异度。灵敏度（sensitivity），也叫真阳率（truepositiverate，即TPR）是被测试者患病且被正确诊断为患病者的样本量在阳性总体中占的比例。灵敏度值越大，假阴率越小。据表2-1其计算公式是：灵敏度(sensitivity)=真阳率(TPR)=1−假阴率(FNR)=标准误为：√特异度（specificity），也叫真阴率（truenon-positiverate，即TNPR），是受试者无病且被正确诊断为无病者的样本量占阴性总体的比例。假阳率（falsepositiverate，即FPR）=1−特异度特异度值越大，假阳率越小。据表2-1其计算公式是：特异度(specificity)=真阴率(TNPR)=1−假阳率(FPR)=标准误为：√假设二分类总体均服从正态分布，TPR、FPR、TNPR和FNPR之间的关系可以用图2-1来描述。图中x=c为截断点（诊断阈值），α为假阳率（FPR），β为假阴率（FNPR）。2.2ROC准确性评价指标的优越性诊断试验的准确性评价指标有正确率、灵敏度和特异度等。它们虽然都可以反映诊断的准确性，但评价的效果不是很理想。正确率是被测试者被正确诊断的例数和所占总体的百分数。其计算公式是：正确百分率N×100%标准误是：正确百分率√N正确百分率的不足之处：1．很大程度上依赖患病率。例如，虽然患病率是5%，如果判定所有样本为健康者，也有可能有95%的正确百分率；2．受诊断阈值的限制；3．没有表示出假阳性和假阴性错误诊断所占的比例，没有唯一性表示，即使有相同的正确百分率的两个总体，也可能有十分不同的假阳性和假阴性。基于此，单独计算灵敏度和特异度，以弥补正确率的不足，如果两个指标的值越高，诊断评价效果也就越好，其实不然。在对诊断系统做出比较时，如果单独使用灵敏度与特异度，就会存在很大的不足：这两个指标依赖于诊断阈值（或截断点），改变诊断阈值可以增加诊断的灵敏度，但同时也减少了特异度；反之，如果增加诊断的特异度，则需要以减少灵敏度为代价。另外，有人提出的Youden指数、阳性似然比、：真阳率与假阳率之比）和阴性似然比等等。Youden指数是指真阳性率与假阳性率之差，计算公式为：Youden指数=灵敏度+特异度-1=真阳性率-假阳性率=其标准误为：Youen指数阳性似然比（positivelikelihoodratio简写为：LR+）是真阳性率与假阳性率之比，即灵敏度与（1-特异度）的比值，它是ROC曲线某工作点对应的斜率。阴性似然比（negativelikelihoodratio简写为：LR-）是假阴性率与真阴性率之比，即（1-敏感度）与特异度的比值。这些诊断指标综合考虑了灵敏度和特异度，但一个指标只对应于一个诊断阈值。当诊断阈值改变时，会得到不同的指标值，给诊断准确度的比较带来不便。所以一般选择阳性似然比或Youden指数最大者为最佳工作点。在评价整个诊断方法的准确性时用ROC分析，当改变诊断阈值时，可同时获得灵敏度和特异度，也就可以获得TPR和FPR值。ROC曲线是以FPR为横坐标和以TPR为纵坐标绘制而成，并且ROC曲线下的面积大小衡量了诊断系统的判别能力。2.3ROC曲线的构建以假阳性率（FPR）为横坐标、真阳性率（TRP）为纵坐标，形成正方形，在图上将ROC工作点标出，并用线条将这些低昂依序连接起来构建不光滑的ROC曲线。构建光滑的曲线需要交涉对照组和病例组服从于某一分布（如正态分布、Gamma分布等），用曲线拟合技术估计其参数，直接用参数产生曲线。无论资料类型如何，曲线一定通过（0,0）和（1,1）两点，这两个点对应着灵敏度=0，特异度=1和灵敏度=1，特异度=0.理论上诊断实验都有TPR=1，FPR=0。完全无价值的诊断为TPR=FPR,这条线条称为几率线（guessingline或chanceline），也称为无信息线（lineofnoinformation）；ROC曲线对诊断的准确性采用同一尺度直观地体现出来，描述了诊断实验对正反两种状态的判别能力。曲线上每一个点通过改变其诊断阀值（截断点）而得，是灵敏度和特异度的折衷结果。提高诊断标准则产生较低的灵敏度和较高的特异度；降低诊断标准则产生较高的灵敏度和较低的特异度。如果比较两个诊断方法的效果，则较高的ROC曲线具有较好的诊断性能，如果曲线交叉，则通过计算曲线下面积进行进一步比较。用ROC曲线下面积（记为AZ）反映诊断试验的准确度，它可以被看成是正确决策的概率。该面积的取值范围为（0.5,1），完全无价值的诊断AZ=0.5；完美的诊断AZ=1。习惯上认为ROC曲线下面积为0.50～0.70，表示诊断的准确度较低；在0.70～0.90之间表示诊断的准确度中等；面积达到0.90以上则表示诊断的准确度较高。2.4ROC曲线的拟合方法ROC曲线的获得是通过两个不同的总体（正常组和异常组），它的横轴和纵轴（假阳性率和真阳性率）存在相关关系，因此不能假定它们来自单一的总体，不能用一般非线性模型拟合。ROC曲线拟合方法主要有双正态模型参数法和非参数法。除了主要的ROC分析方法外，有序回归模型（包括位置尺度模型、比例优势模型、GEE法）、COX比例风险模型等也可以拟合ROC曲线、计算ROC曲线下面积以及标准误。这些模型还考虑了协变量的混杂效应。2.4.1双正态模型参数法双正态模型假定正常组和异常组都服从正态分布。当前该模型在ROC分析上比较完善，可以处理不同的ROC资料，获得光滑的ROC曲线。当样本量较大时，有序分类数大于5时，该模型获得的结果是比较可靠的。但是当样本量较少时，双正态模型拟合会产生退化资料，ML估计会迭代不收敛。按“金标准”将实验对象划分为正常组和异常组，假设它们分别服从总体均值为μ0、μ1（μ0μ1），方差为σ02、σ12的正态分布N(μ0，σ02)、N(μ1，σ12)，对任意诊断阀值（截断点）t,假阳性率为：{0|正常}1（μ0σ0）真阳性率为：{1|异常}1（μ1σ1）其中0、1分别表示正常组和异常组的实验测量值或有序分类之；t为截断点，实验测量值xt,诊断为阳性，x≤t诊断为阴性；（）为标准正态累积分布函数。令μ0σ0−11,则有：(μ1μ0σ1)σ0σ1−1]令μ1−μ0σ1,σ0σ1,则上式可写为：−1,0≤≤1其中−1⋅为标准正态离差值。整个ROC曲线下面积为：[√12]参数a、b通过极大似然法（maximumlikelihood，ML）估计。2.4.2非参数ROC拟合方法非参数法主要有：Hanley和McNeil法、Delong和Clarke-Pearson法。非参数法对正常组和异常组的分布没有要求，它们可以充分利用所有的截断点，对连续性样本量没有大小的显著，不会出现计算结果不收敛的情况。当截断点（或有序分类）大于5时，结果比较理想，当截断点不断增加时，ROC曲线将逐渐向光滑参数曲线靠拢。Hanley和McNeil非参数法假设正常组的观察值个数为n0,记作x1jj1,2,⋯,n0；异常组的观察值个数为n1,记作x0ii1,2,⋯,n1。异常组的观察值更大，根据WilcoxonMann-Whitney统计量，ROX曲线下面积（）等于异常组每个观测值大于正常组每个观测值的概率。即1n1n0∑∑x0,x1n1i1n0j1(x0,x1){1x1x00x1x00x1x0的标准误为：√1n11(12)n01(22)n1n0其中1是两个随机随着的异常组观测值比一个随机选择的正常组观察值都更大可能分类为异常的概率。2是一个随机随着的异常组观测值比两个随机选择的正常组观察值都更大可能分类为异常的概率。2.5基于非参数法的ROC分析基于本文实证分析采用的是非参数方法的ROC模型，因此将在本小结着重介绍下非参数法的ROC分析。2.51等级变量的非参数ROC分析通常情况下，诊断系统获得的原始资料的记录有离散型和连续型两种形式。许多生物医学诊断试验的测量工具是连续型的，如血清抗原和酶浓度；医学影像诊断试验的诊断结果是离散型的。对于不同的形式，ROC曲线估计方法是相同的，我们以离散型诊断结果为例。如果将诊断指标以有序分类的方式分成k类，k=1,…,K。其中1类别表示完全没患病，K类别表示肯定患病。假设对于每一个分类类别Y，有一个隐藏的连续决策变量X，将结果划分到第k类中，如果决策变量X在区间(−1,)中，k=1,…,K;0,；即当−1，则Y=k。第k类中，Nk0表示第k类中的正常个体数，Nk1表示第k类中的异常个体数，N0为正常总个体数，N1表示异常总个体数，N表示总个体数。一般可划分为5（或6）等级，即肯定不正常、可能不正常、异常可疑、可能正常、肯定正常，分别以1、2、3、4、5标记。如表表示：诊断结果诊断分类合计12345正常N10N20N30N40N50N0异常N11N21N31N41N51N1合计N每个分类可以作为诊断阈值（通常从第二个分类开始，因为若以第一个分类为阈值，其实是没有什么意义的），阳性和阴性的判断标准是：该类及以上类别的样本为阳性；该类以下样本为阴性，对于每一个诊断阈值，都可以整理出类似于表2-1的2×2的列联表。例如，以表2-2中的分类3为诊断阈值时，正常组阳性个体数为N30+N40+N50，其假阳率为N0N0N0N0异常组阳性个体数为N31+N41+N51，其真阳率为N1N1N1N1同样可以以表中的分类5、4、2为诊断阈值来计算的ROC的坐标点，并得到相应的FPR和TPR。图描述了不同诊断阈值下的分类：此时，我们假设正常组和异常组的总体都满足正态分布。图中采用4个诊断阈值将正常组和异常组分为5类。2.5.2实例分析在放射学诊断试验中，有109份CT影像，正常影像为58份，异常影像为51份，有位影像工作者将这些CT影像分类为如表2-3所示：诊断结果诊断分类合计12345正常336611558异常322113351合计109根据2.5.1节的结论，我们可以得到以类别2、3、4、5为诊断阈值的2×2的列联表，从而得到相应的ROC工作点。以类别2为诊断阈值：诊断结果金标准合计患者健康者阳性482573阴性33336合计5158109TPR=1FPR=2正常组阳性个体数为25，其假阳性率为FPR=2=0.4310异常组阳性个体数为48，其真阳性率为TPR=1=0.9420同理可得到分类3、4、5这四个诊断阈值所对应的ROC工作点。故FPR，TPR=(0.4310,0.9420),(0.3296,0.9020),(0.2241,0.8627),(0.0345,0.6471)。从图可以看出，诊断阈值越严格（分类类别越高），将试验结果决策为阳性的可信度越高；诊断阈值越宽松（分类类别越低），将试验结果决策为阳性的可信度也相应地越低。2.5.3连续变量的非参