统计在诊断器械临床试验中的应用

统计在诊断器械临床试验统计在诊断器械临床试验中的应用中的应用李卫阜外心血管病医院22内容内容n基本概念n设计过程中需要考虑的统计学问题n诊断器械临床试验结果报告33基本概念44医疗器械临床试验分类n5号令——根据产品机理、风险程度不同n临床试用：市场上尚未出现过，安全性、有效性有待确认的医疗器械n临床验证：同类产品已上市，其安全性、有效性需要进一步确认的医疗器械（不同厂家申请的产品）治疗与诊断器械nn治疗器械：治疗疾病治疗器械：治疗疾病nn诊断器械：诊断疾病诊断器械：诊断疾病nn监测器械也属于诊断器械监测器械也属于诊断器械体外诊断器械在实验室样品上进行诊断•胆固醇•凝血时间•BNP•Glucose•HPV体内诊断器械在人体上、而不是在样品上做诊断•可植入的心脏起搏器•植入性血糖仪•骨密度测量仪•体内摄影机（间接喉镜）监测器械nn心脏起搏器心脏起搏器nn婴儿监测仪婴儿监测仪nn呼吸监测仪呼吸监测仪nn连续血糖监测仪连续血糖监测仪成像(或显微胶片)器械n需要人进行专业解读n变异：-读者不同-阅读时间不同-操作者和读者的技术水平不同n读者变异（读者本身，读者之间）是个大问题n学习曲线全新诊断器械n需要验证器械性能n需要进行优效或非劣效验证n例：-乳房X线照相机：数字vs胶片-血糖仪与一个已上市产品“实质等同”-听力测试仪1111有效的科学证据nn不同临床试验（试用、验证）不同临床试验（试用、验证）nn试验设计方法不同试验设计方法不同nn获得有效的科学证据（收集可靠的临床获得有效的科学证据（收集可靠的临床试验数据）试验数据）1212有效的科学证据nn收集和评价可靠的临床数据是很多医疗器收集和评价可靠的临床数据是很多医疗器械获得批准的基础械获得批准的基础nn好的临床试验好的临床试验提供最提供最客观客观的安全性和有效性证据的安全性和有效性证据1313样本和总体总体样本基于样本资料的推论对总体规律的推断例：所有肝癌病人例：在一个临床试验中90例肝癌病人例：试验器械提高了试验组肝癌病人的生存率试验器械提高所有肝癌病人的生存率1414Ø生物统计：确保试验设计科学、合理、试验结果可靠Ø由具有临床试验经验、专业资质的生物统计学人员负责（试验统计学家）Ø全程参与临床试验（试验设计、实施、数据管理、统计）统计在医疗器械临床试验中的作用1515•统计学方法国内外认可、经典•统计分析软件国内外通用、经过专业验证（SAS）统计学方法与统计软件1616试验设计时应考虑的统计学问题1717满足统计学要求（5号令）针对受试产品的具体特性，确定：-研究方案-研究目的和试验设计类型（研究假设）-主要疗效/安全性评价指标-研究人群的选择（适应症）-偏倚的控制措施（随机、盲法）-对照组的选择-随访时间-试验例数（样本量）-检验效能（把握度）1818满足统计学要求（5号令）诊断器械：-研究方案-参照标准的选择-诊断的准确性评价指标（灵敏度、特异度、一致性指标）-研究人群-偏倚的控制措施（随机、盲法）-试验例数（样本量）1919一、临床试验方案n满足SFDA要求的方案？（研究目的、评价指标、评价方法、样本量及计算依据、具体实施过程、数据收集、数据管理、质量控制、风险评估、统计分析方法等）n经过伦理委员会批准？（批件）n各中心按照统一的方案进行临床试验？2020偏倚偏倚•两个偏倚来源：-参照标准的错误-错误的报告评估测试后的结果•如何在研究设计和数据分析中尽量减少偏移二、参照标准的选择n被测器械的诊断准确性:被测器械诊断结果和参照标准间一致的程度n即：该参照标准被公认是“区分是否有病的最好方法”——金标准2222二、参照标准的选择n参照标准国内外指南、行标、部标n例：-诊断心肌梗死世界卫生组织（WHO）的标准-诊断红斑狼疮或风湿性关节炎美国风湿病学会指南2323二、参照标准的选择•开始临床试验前，认真设计研究方案•确定是否要报告诊断的准确性或检测的一致性（deviceagreement）•如果想要报告诊断的准确性，则必须包括参照标准（金标准）•试验开始前认真讨论研究方案可节省时间和金钱2424二、参照标准的选择根据参照标准是否存在/实用，分为：-可用-不可用，但可以构造-不可用，也不能构造2525二、参照标准的选择（参照标准可用）•纯粹从统计角度看，最好的办法是指定一个参照标准（金标准）•把被测器械和指定的参考标准相比较•估计灵敏度和特异度•建议研究设计阶段咨询SFDA，确保指定的参考标准满足专业行政机构要求2626二、参照标准的选择（参照标准不可用，但可以构造）•如果参照标准对您的适应症人群是不具备或不能接受的•是否可以构造一个参照标准？•如果可以，则：估计出构造标准的灵敏度和特异度2727二、参照标准的选择（参照标准不可用，但可以构造）n专家组（SFDA咨询人员或其他专业人员）可以制定一套临床标准作为指定的参照标准n虽然这种方法刚开始可能会更费时，但是，可以轻松地计算出灵敏度和特异度的估计值。建议：•标签（label）上清楚地描述指定的参照标准•新的参照标准不得依赖于新的诊断器械的分析结果构建参照标准之前咨询SFDA和统计分析人员！2828二、参照标准的选择（参照标准不可用，且不能构造）•当被测器械与非参照标准（金标准）比较•不能用灵敏度和特异度描述比较的结果••无法知道真正的患病者••计算测量的一致性-阳性一致百分比-阴性一致百分比-置信区间•意义：被测器械与对照器械的一致性2929一致性评价的不足n一致并不表示“正确”n两个检验(阳性/阴性一致性的百分比）可以一致，但都是错误的，或n可以高度一致，但都有很低的灵敏度和特异度n同时，当两个诊断器械的检验结果不一致时，并不意味着新检测是错误的，而相对照的器械诊断结果就是正确的3030一致性评价的不足（续）n总一致性的测量（包括整体百分比一致性和Kappa值）可能会引起误解n某些情况下，阳性/阴性一致性百分比非常低时，整体一致性也可以很好不鼓励仅用“整体一致性”指标来判定一项检测的诊断效果！三、诊断的准确性评价指标n灵敏度n特异度n阳性/阴性预测值n阳性/阴性一致性百分比n阳性/阴性似然比nROC曲线n可信区间3232三、诊断的准确性评价指标n真阳性(TruePositive,TP)有病的人，检测也是阳性n假阳性(FalsePositive,FP)没病的人，但检测是阳性n真阴性(TrueNegative,TN)没病的人，检测也是阴性n假阴性(FalseNegative,FN)有病的人，但检测是阴性3333三、诊断的准确性评价指标nn灵敏度（灵敏度（SeSensitivity)nsitivity)有病人群中检测为阳性的比例有病人群中检测为阳性的比例nn特异度特异度((SpSpecificity)ecificity)无病人群中检测为阴性的比例无病人群中检测为阴性的比例有价值的诊断器械有价值的诊断器械Se+Sp100Se+Sp10034342x22x2列联表列联表有病有病无病无病检测阳性检测阳性TPFPTPFP检测阴性检测阴性FNTNFNTNSe=TP/(TP+FN)Se=TP/(TP+FN)Sp=TN/(TN+FP)Sp=TN/(TN+FP)评价某器械的诊断效果时要同时评价灵敏度和特异度！例：估计灵敏度和特异度例：估计灵敏度和特异度nExampleofresultscomparinganewtesttoreferencestandardfor220subjects有病有病无病无病检测阳性检测阳性44145检测阴性检测阴性7168175Total51169220estimatedsensitivity=100%x44/51=86.3%estimatedspecificity=100%x168/169=99.4%三、诊断的准确性评价指标n阳性预测值(PositivePredictiveValue）检测结果为阳性情况下，有病的概率n阴性预测值(NegativePredictiveValue)检测结果为阴性情况下，不发病的概率有价值的诊断器械有价值的诊断器械PPV+NPV1PPV+NPV137372x22x2列联表列联表有病有病无病无病检测阳性检测阳性TPFPTPFP检测阴性检测阴性FNTNFNTNPPV=TP/(TP+FP)PPV=TP/(TP+FP)NPV=TN/(TN+FN)NPV=TN/(TN+FN)3838例：无任何价值的诊断例：无任何价值的诊断假设某器械灵敏度假设某器械灵敏度50%50%，，特异度特异度50%50%如有如有100100个病人个病人,,则：则：5050个病人有病个病人有病DiseaseDiseasePresentAbsentPresentAbsent++veve252550252550TestTest--veve252550252550505010050501003939例：另一个无价值的诊断例：另一个无价值的诊断假设某器械灵敏度假设某器械灵敏度80%80%，，特异度特异度20%20%如有如有100100个病人个病人,,其中其中5050个病人有病个病人有病DiseaseDiseasePresentAbsentPresentAbsent++veve404080404080TestTest--veve101020101020505010050501004040最理想的诊断最理想的诊断————灵敏度和特异度均为灵敏度和特异度均为100%100%DiseaseDiseasePresentAbsentPresentAbsent++veve5005050050TestTest--veve0505005050505010050501004141三、诊断的准确性评价指标n阳性检测的似然比（LR+）：LR+=灵敏度/(1–特异度)=真阳性率/假阳性率LR+越大诊断能力越大n阴性检测的似然比（（LRLR--）：）：LRLR--=(1=(1--灵敏度灵敏度)/)/特异度特异度==假阴性率假阴性率//真阴性率真阴性率LRLR--越小越小诊断能力越大诊断能力越大4242两个诊断器械的比较两个诊断器械的比较n地位相当-似然比-预测值nPPV(Y)PPV(X)ÛLRy+LRx+nNPV(Y)NPV(X)ÛLRy-LRx-例：估计阳性一致百分比和阴性一致百分比非金标准对照阳性阳性阴性阴性合计合计检测阳性检测阳性40545检测阴性检测阴性4171175合计44176220阳性一致百分比=（40/44）x100%=90.9%阴性一致百分比=（171/176）x100%=97.2%总的一致百分比=[(40+171)/220]x100%=95.9%ROCROC曲线曲线nn曲线下面积：曲线下面积：--所有灵敏度下的平均特异度，或所有灵敏度下的平均特异度，或--所有特异度下的平均灵敏度，或所有特异度下的平均灵敏度，或--随机的选择有病的人的概率高于随机的选随机的选择有病的人的概率高于随机的选择无病人的概率择无病人的概率nn在决定分割值（在决定分割值（cutcut--offoff））或临界值或临界值（（thresholdthreshold））方面，非常有用方面，非常有用ROC曲线灵敏度灵敏度VS.VS.11--特异度特异度无价值的无价值的ROCROC曲线曲线4747四、研究人群四、研究人群4848研究人群n除了选择合适的比较基准，评价一个新检测还包括选择一个恰当的：•被测试的受试者或标本•在何种条件下进行检验4949研究人群nn有明确的有明确的入选/排除标准？？nn定义研究人群的特征，以便确定医疗器定义研究人群的特征，以便确定医疗器械的用途械的用途nn由精通试验器械研究领域的临床专家来由精通试验器械研究领域的临床专家来制订制订5050研究人群入选标准（1）符合XXX疾病临床诊断标准者；（2）年龄在18－65岁的患者；（3）性别不限排除标准（1）合并高血压、心脑肝肾等重要器官严重疾病者；（2）肝、肾功能损害，其值超过正常值上线150％者；（4）严重凝血功能障碍者；（5）精神病患者；5151研究人群n多适应症临床试验？n每一个适