医疗器械临床试验的统计学评价

医疗器械临床试验的统计学评价医疗器械临床试验的统计学评价郭晋国家心脏病中心阜外心血管病医院&心血管病研究所北京协和医学院&中国医学科学院2012.7.23长沙2郭晋，2010年硕士毕业于中国人民解放军军事医学科学院统计教研室。现就读于北京协和医学院阜外心血管病医院，流行病与卫生统计学专业博士研究生。指导教师：李卫教授。研究方向：医疗器械临床试验统计方法学神经网络模型在预测急性心肌梗死中的应用3OutlineOutline„随机对照试验(RCT)„非随机对照平行组试验与倾向性得分„目标值法的单组试验（OPCtrial）„„诊断器械试验的统计学评价诊断器械试验的统计学评价„优效性检验„非劣效检验„非随机对照试验(non-RCT)„非诊断器械临床试验的统计学评价非诊断器械临床试验的统计学评价„结局变量为定性指标„结局变量为定量指标„ROC曲线评价预测能力„结论4随机对照试验（随机对照试验（RCTRCT））„„随机对照试验被认为是金标准随机对照试验被认为是金标准--相比其他类型的研究能够提供质量更高的数据相比其他类型的研究能够提供质量更高的数据--能够降低偏倚能够降低偏倚„受试者被随机的被分配到不同处理组„两组或多组间除处理因素不同外，其他因素（协变量）是均衡的。器械1器械2AB入组试验终点5决定试验设计类型：-优效性设计（superiority)-非劣效性设计（non-inferiority)-等效性设计（equivalence）对结果的评价方法对结果的评价方法6优效性试验：临床研究临床研究目的：目的：证明新证明新产品（产品（治疗治疗手段）手段）优于优于旧产品（旧产品（安慰剂安慰剂、、标准治疗标准治疗手段）。手段）。优效性设计（优效性设计（SuperioritySuperiority））检验假设为：0H：CTππ−≤Δ，两组器械疗效差等于或低于优效性界值；1H：CTππ−＞Δ，两组器械疗效差大于优效性界值。7评价方法：1）P值法2）置信区间法：表示总体均数或率的变化范围（confidenceinterval,CI）例：有效率：83%（95%CI:78%-92%）优效性设计评价方法优效性设计评价方法8高优指标（有效率）组间疗效差（T-C）的95%CI的下限0低优指标（事件发生率）组间疗效差（T-C）的95%CI的上限0优效性设计评价方法优效性设计评价方法——率差率差90优效结论成立95%CI上限优效结论不成立TT--CC95%CI点估计点估计优效性设计评价方法优效性设计评价方法（率差，低优指标）（率差，低优指标）10优效性试验评价方法优效性试验评价方法——率比率比„瞬时风险比（HR）、比数比(OR)„一般为低优指标„试验组与对照组发生事件风险（T/C）的95%CI的上限111优效成立ORT/C01优效不成立95%CI95%CI上限上限点估计点估计优效性试验评价方法优效性试验评价方法（率比，（率比，低优指标低优指标））12非劣效试验非劣效试验非劣效试验„„试验产品疗效不劣于某种已知的有效产品（试验产品疗效不劣于某种已知的有效产品（同样同样有效）有效）„阳性对照：采用已知有确切临床疗效的对照品„„在非劣效试验中，在非劣效试验中，试验组可比对照组差一些，但试验组可比对照组差一些，但不能差太多（临床许可的范围内，可忽略不计）不能差太多（临床许可的范围内，可忽略不计）„„差别：非劣效界值（差别：非劣效界值（ΔΔ/M:/M:nonnon--inferioritymargininferioritymargin））13非劣效试验评价方法非劣效试验评价方法评价方法—不能仅计算P值得到试验结论—应计算终点变量的置信区间评价试验结果假设检验的公式：0H：CTππ−≤Δ1H：CTππ−＞Δ14高优指标高优指标两组疗效差两组疗效差//风险比的风险比的95%95%置信区间下限置信区间下限MM低优指标低优指标两组疗效差两组疗效差//风险比的风险比的95%95%置信区间上限置信区间上限MM非劣效试验评价方法非劣效试验评价方法非劣效试验评价方法15优效劣效HRT/C01Δ非劣95%CI95%CI上限上限95%CI95%CI下限下限点估计点估计Δ：临床认可的非劣效界值非劣效评价（死亡非劣效评价（死亡风险比风险比HRHR））16非劣效可以转为优效非劣效可以转为优效--如果非劣效假设成立，则如果非劣效假设成立，则--可进一步检验：试验产品是否优于阳性对照可进一步检验：试验产品是否优于阳性对照品（优效性）品（优效性）非劣效向优效的转换非劣效向优效的转换若优效假设不成立，不能推出非劣效！若优效假设不成立，不能推出非劣效！17非劣效非劣效评价的评价的误用误用„„对照组选择错误对照组选择错误„„试图选择过大的试图选择过大的非劣效界值以非劣效界值以减少样本量减少样本量„„接受疗效越来越差的方法的风险接受疗效越来越差的方法的风险==““退化退化””18多因素模型的使用„器械植入或用于受试对象，器械的疗效除与使用器械种类有关外，可能还受到受试者年龄、性别、遗传因素、饮食、吸烟、饮酒、肥胖等多个因素的影响。„RCT研究尽可能的使得两组受试对象的这类信息均衡，然而仍然有可能某些基线信息存在差别。„多因素模型的使用19非随机对照试验非随机对照试验„„方法方法1:1:平行组试验（平行组试验（ParallelGroupTrialParallelGroupTrial））--具有对照组（非随机的选择对照人群）具有对照组（非随机的选择对照人群）--≥≥22组组--各组数据均前瞻性的收集各组数据均前瞻性的收集„„方法方法2:2:目标值法的单组试验（目标值法的单组试验（SingleArmtrialSingleArmtrial））--无对照组无对照组((仅有仅有11组组))--目标值的确定目标值的确定20非随机对照平行组设计非随机对照平行组设计NowProspectivePastSurgerySurgeryDESDESENDFuture受试人群非随机入组21非随机对照平行组试验中基线不均衡的非随机对照平行组试验中基线不均衡的调整调整„利用多因素模型调整„倾向性得分法（PropensityScore，PS）22非随机对照试验单组目标值法-目标值（ObjectivePerformanceCriteria）的制定NowProspectiveFuturePastDESDESEND23„OPC:期望疗效的单侧置信区间„OPC需要试验前制定„计算主要终点变量的点估计和置信区间„终点变量的单侧置信区间的下限（上限）不能低于（高于）试验前制定的OPC24例例:OPC:OPC法在医疗器械临床试验中的应用法在医疗器械临床试验中的应用„全部数据来源于单组目标值法器械试验„目的：为验证射频消融导管(radiofrequencyablationcatheter)的有效性和安全性„主要终点指标:手术成功率25ExpectedtreatmenteffectOne-sidedCIboundary95%85%OPC2100120(1)(1)()ZppZppNppαβ−−⎡⎤−+−⎣⎦=−Two-sidedα=0.05,1-β=80%,p0:95%LCIofexpectedeffect,p:expectedeffect20%dropout,n=9926ApproximatenormalmethodestimateCI:nppup)1(−±αExactbinomialmethodestimateCI:,(1)F(2(1),2())U()(1)F(2(1),2(),1)xxnxnxxxnxμα++−=−+++−−[])2/1,2),1(2()1(/αμ−+−+−+=xxnFxnxxL)1),(2),1(2()1()())(2),1(2()1(αμ−−+++−−++=xnxFxxnxnxFxU100patientsforthisstudy,97patientstobesuccessful%91:LCI，greaterthanOPC:85%27单组目标值法的不足单组目标值法的不足„„由于没有对照组，因此无法和已上市的产品进行由于没有对照组，因此无法和已上市的产品进行对比对比„„对于某些研究者，试验设计不够缜密，对于某些研究者，试验设计不够缜密，OPCOPC值定值定义的较低，义的较低，OPCOPC无法得到临床实践的认可。无法得到临床实践的认可。28对于单组目标值法试验的建议对于单组目标值法试验的建议„ObjectivePerformanceCriteria,OPCOPC--OPC需要试验前制定--被临床实践所认可被临床实践所认可--仅适用于低风险产品仅适用于低风险产品--手术成功率高于手术成功率高于90%90%--符合指导原则符合指导原则(SFDA,FDA,EMEA,etc.)(SFDA,FDA,EMEA,etc.)--需要讨论需要讨论(SFDA,clinicalexpert,statistician)(SFDA,clinicalexpert,statistician)--不能使用单组目标值法于不能使用单组目标值法于FIM/FIM/高风险产品高风险产品29诊断的准确性评价指标及评价方法诊断结果为定性变量(+/-；有病/没病)金标准存在金标准不存在诊断结果为定量变量30金标准的选择金标准的选择（标准诊断方法）（标准诊断方法）„„目前公认的最可靠、最准确、最好的诊断方法目前公认的最可靠、最准确、最好的诊断方法„„临床上常用的金标准有组织病理学检查（活检、临床上常用的金标准有组织病理学检查（活检、尸检）、手术发现、影像诊断（尸检）、手术发现、影像诊断（CTCT、核磁共振、、核磁共振、彩色彩色BB超）、病原体的分离培养以及长期随访所得超）、病原体的分离培养以及长期随访所得的结论的结论„„金标准一般是特异性诊断方法，可以正确区分金标准一般是特异性诊断方法，可以正确区分““有有病病””和和““无病无病””3122××22列联表列联表有病有病无病无病检测阳性检测阳性TPFPTPFP检测阴性检测阴性FNTNFNTNSe=TP/(TP+FN)Se=TP/(TP+FN)灵敏度（灵敏度（Sensitivity)Sensitivity)：有病人群中检测为阳性的比例：有病人群中检测为阳性的比例金标准真阳性假阳性假阴性假阴性真阴性阴性3222××22列联表列联表有病有病无病无病检测阳性检测阳性TPFPTPFP检测阴性检测阴性FNTNFNTNSp=TN/(FP+TN)Sp=TN/(FP+TN)特异度特异度(Specificity)(Specificity)：无病人群中检测为阴性的比例。：无病人群中检测为阴性的比例。金标准真阳性真阳性假阳性假阳性假阴性假阴性真阴性真阴性33例：估计灵敏度和特异度例：估计灵敏度和特异度有病有病无病无病合计合计诊断阳性诊断阳性4444145145诊断阴性诊断阴性77168175168175合计合计5151169220169220灵敏度=44/51××100%=86.3%特异度=168/169×100%=99.4%34诊断的准确性评价指标诊断的准确性评价指标（定性结果）（定性结果）„„阳性预测值阳性预测值((PPositiveositivePPredictiveredictiveVValuealue））检测结果为阳性情况下，有病的概率检测结果为阳性情况下，有病的概率„„阴性预测值阴性预测值((NNegativeegativePPredictiveredictiveVValue)alue)检测结果为阴性情况下，不发病的概率检测结果为阴性情况下，不发病的概率有价值的诊断器械有价值的诊断器械PPV+NPV1PPV+NPV135诊断的准确性评价指标诊断的准确性评价指标((定性结果定性结果))有病有病无病无病检测阳性检测阳性TPFPTPFP检测阴性检测阴性FNTNFNTN阳性预测值阳性预测值=TP/(TP+FP)=TP/(TP+FP)阴性预测值阴性预测值=TN/(TN+FN)=TN/(TN+FN)36诊断的准确性评价指标诊断的