05-李博-循证文献评价ROB-tool使用20140427

2014/4/221循证文献（研究）质量评价HowtousetheCochraneriskofbias(ROB)tooltoevaluateclinicalstudies(articles).李博西苑医院bv1013甫寸丁香园循证版2014年4月27日提纲•一、证据质量评估和推荐强度概述•二、循证是我们的综合医力•三、随机对照试验的质量评价方法•四、证据分级与推荐的演进•五、Cochrane风险偏倚评估工具/“riskofbias(ROB)tool”•六、GRADE评估分级推荐简介2014/4/222一、证据质量评估和推荐强度概述•在关注这个问题之前，首先来让我们看一下当前的医学状况。循证在擦亮我们的眼睛•每个医生看到的很多很多研究，浩如烟海，汗牛充栋，•患者的疑虑就更别说了2014/4/223临床实际情况•举两个具体问题，是我们在临床经常遇到的情况。循证擦亮眼睛—客观看待研究质量用清晰的目光，看待临床报道的真伪，做一个明白的医生，让患者成为明白的患者。2014/4/224二、循证是我们的综合医力•医学的复杂性和不确定性是她的魅力循证是我们的综合医力•首先综合医力首先表现在你的临床技能。•第二，循证的综合医力，要求医生要熟知临床流行病学的内涵。•第三，循证文献检索，这是医生应当具备的综合医力之一。2014/4/225循证是我们的综合医力•第四，循证综合医力之医学统计学。•第五，综合医力，就是要我们整体把握循证理念。循证是我们的综合医力•循证是我们的综合医力的体现，目的就是把这一切都运筹帷幄，综合分析，为患者制定最合理的诊疗方案。2014/4/226三、随机对照试验的质量评价方法•二十世纪八十年代来，发展了许多临床试验的方法学质量评估工具，有量表也有清单CharacteristicsofsomeInstrumentstools（杨声坪，闫先侠，刘建强，杨克虎，刘雅莉*，袁金秋.随机对照试验质量评价标准的比较分析.循证医学,2010,(6):369-373）2014/4/227随机对照试验质量评估工具13CochraneRCT质量评价标准•①随机方法是否正确。②是否隐蔽分组。③盲法的使用情况。④失访或退出描述情况，有无采用意向性(ITT)分析。以上质量标准中,如所有标准均为“充分”,则发生各种偏倚的可能性很小；如其中一条为不清楚,则有发生相应偏倚的中等度可能性；如其中一条为“不充分”或“未采用”,则有发生相应偏倚的高度可能性。2014/4/228查证落实文中随机方法（实例）•目的•落实文献中叙及的随机方法及盲法是否真正做到，进一步筛选文献，确定纳入文献质量。•方法•查证方法包括电话询问、E-mail联系及当面请教。以电话询问方式为例：•首先从各个数据库下载相关研究全文，只要有“随机”二字，包括“随机分为两组”、“随机抽样分为两组”等等；其次，将作者姓名、文章名、发表信息填入先设计的表中；接着，打电话询问。2014/4/229电话查证•第一步，将文中涉及到的地方进行统计，查到各个地区的区号，如区号不明，则查当地省会或首府的114，以确定。例如，灵山县的区号，可根据省份，查南宁114得0777，或者通过网络查询。•第二步，用当地114查作者，主要是第一作者所在单位的电话，如文中表明具体二级单位、科室可直接询问；若无，则要求得到总机或办公室电话、对外电话等。•第三步，根据各地114提供的电话，查找单位并首先寻找第一作者，若一时难以找到，则顺延找第二、第三作者，尽量找到相关人员。电话接通•第四步，无论是谁最终负责接听电话，都要尽量详细询问以下几个问题：•引入→XXX老师，您好，打扰一下，我是北京中医药大学的一名学生，在作一篇中医药戒毒方面的综述，检索到您发表于XXXX年XXXX杂志上的一篇文章，现在有个问题想请教您，方便的话，想请教您几个问题；•请问您采用什么方法做的随机？（可提示，如：是不是按就诊顺序单双号分组？或抽签？几根签？等等），注意听，是否提到：简单随机，随机数字表，Excel生成，利用SAS程序，还要根据她/他的语气来判断；•请问您做这个课题有没有药厂或政府来的经费支持；•这时需立即判断是否真正的随机对照试验，如果确定是随机对照试验，则进一步问其随机序列隐藏没有？用什么方法隐藏？在研究过程中，病人、医生，研究者知道不知道，病人可否选择在哪一个组？•结果测定时，采用盲法没有？•判断作者对正确的随机方法是否真正了解或不了解，即作者如果采用了错误的的随机方法，则需要判断是明知故犯还是真不懂造成的错误，将你的判断记录在表中。（明知故犯者填入“知道错”，真不懂者则为“真不懂”）•通话最后真诚表示感谢；整理思路，尽快记录在原始资料上。2014/4/2210•3.2.3第一次打电话•时间：2005年4月13日星期三9：00a.m.～4：30p.m.（中午11：30～14：30休息）•共拨打电话将近二百个，涉及二十余个省、自治区、直辖市，三十多个具体地点。感受了各个地方114的不同与特点。•平均找一个人一般要打三个电话，彻底找到某篇文章相关人员没超过十个，大多数文章作者热情而耐心，但多数的随机方法不明或含糊其词。•需要进一步作第二次电话联系，再作综合分析。•3.2.4第二次打电话•时间：2005年4月14日星期四8：50a.m.～10：30p.m.•共拨打电话将近一百个，这次前几个比较顺利，尤其是第一个和第二个都接通了。还打通了昨天没接通的几个电话，•大部分老师都热情，许多盲法做的不错，但总试图用盲法来掩盖随机的问题。还要进一步了解了情况，还有五篇文献来自华西医院我直接可以去问一下精神科（心理卫生研究所）。•3.2.5与作者当面请教•时间：2005年6月9日星期四上午华西心理卫生研究所•经过多次联系，找到了关于参附脱毒胶囊、灵益胶囊治疗阿片类物质依赖的RCT试验报告作者李静副教授，当面请教了关于文中的随机，分配隐藏，盲法等方面的问题，李老师做了热情而详尽的回答。•3.2.6与作者通过E-mail请教•通过与中国药物依赖性杂志编辑部安老师联系，得到了相关论文作者刘闯老师的E-mail，关于文中的问题向刘老师进行了请教，刘老师回信做了详尽的指导。•3.2.7与杂志社及科研单位联系•7月13日拜访中国药物依赖杂志社，得到部分作者的E-mail。•7月16日拜访307医院（中国人民解放军军事医学科学院附属医院）戒毒门诊，追查参附脱毒胶囊的灰色文献。•9月与《中国中西医结合杂志》段碧芳老师及《中医杂志》李春梅老师联系，得到了该杂志的几篇文献全文。Jadad量表•Jadad量表，又称为Jadad评分或牛津评分系统，是独立评价临床试验方法学质量的工具。在类似的评价量表中，Jadad量表的使用最为广泛，截止到2008年，有超过3000篇的科学文献使用Jadad量表。Jadad量表由AlejandroJadad-Bechara制定，作为哥伦比亚的一名医生，他还是牛津大学内纳菲尔德麻醉剂部研究减轻疼痛的研究员。Jadad和他的组员在1996年的《临床对照试验杂志》上发表了一篇有关盲法效应的文章。在该文章的附录中，通过评价，给不同临床试验评分，从最差的0分到最高的5分。Jadad认为随机对照试验是现代医学研究的一大进步，在一本2007年写的一本书中，他说“这是一种最简单，但又最有效、最具有代表性的研究形式”。2014/4/2211Jadad量表•Jadad量表（1-3分视为低质量，4-7分视为高质量）：随机序列的产生1恰当：计算机产生的随机数字或类似方法（2分）2不清楚：随机试验但未描述随机分配的方法（1分）3不恰当：采用交替分配的方法如单双号（0分）随机化隐藏1恰当：中心或药房控制分配方案、或用序列编号一致的容器、现场计算机控制、密封不透光的信封或其他使临床医生和受试者无法预知分配序列的方法（2分）2不清楚：只表明使用随机数字表或其他随机分配方案（1分）3不恰当：交替分配、病例号、星期日数、开放式随机号码表、系列编码信封以及任何不能防止分组的可预测性的措施（0分）4未使用（0分）盲法1恰当：采用了完全一致的安慰剂片或类似方法（2分）2不清楚：试验陈述为盲法，但未描述方法（1分）3不恰当：未采用双盲或盲的方法不恰当，如片剂和注射剂比较（0分）撤出与退出1描述了撤出或退出的数目和理由（1分）2未描述撤出或退出的数目或理由（0分）CASP随机对照试验质量评价标准•CASP随机对照试验质量评价标准：（0--不符合要求1—只是提到，但没有详细描述2—详细全面描述，且正确）1、该研究的研究目的是否清晰、特定、明确？立题依据是否充分？2、样本是否被随机分配到实验组和对照组？3、资料收集过程是否遵循盲法？4、样本是否足够大？5、实验组和对照组在基线时是否具有可比性？6、是否描述样本流失？7、资料收集的工具是否合适？8、对所有研究对象进行资料收集和随访的方式是否一致？9、是否正确地描述所应用的统计方法？10、对主要研究结果的陈述是否恰当、准确、精确？11、是否所有的重要研究结果均被讨论？12、该研究的结果是否与其它相关证据相符合？2014/4/2212四、证据分级与推荐的演进•对医学证据进行分级始于20世纪70年代。1979年，加拿大定期体检特别工作组(CanadianTaskForceonthePeriodicHealthExamination，CTFPHE)的专家们首次明确提出了对医学证据进行分级和推荐意见的标准，此后多个机构和组织分别对证据质量和推荐强度进行了规范，但方法各异，标准不一，甚至彼此矛盾。(一)CTFPHE标准1979年CTFPHE证据分级证据水平定义I至少一项设计良好的随机对照试验II-1设计良好的队列或病例对照研究，尤其来自多个中心或研究组II-2在时间和地点上设置了对照的研究，不管是否有干预措施；或重大结果的非对照研究(如1940年代青霉素的应用)III基于临床研究、描述性研究或专家委员会的报告，或权威专家的意见2014/4/22131979年CTFPHE推荐强度推荐级别定义A定期体检中考虑该疾病的证据充分B定期体检中考虑该疾病的证据尚可C定期体检中支持考虑该疾病的证据缺乏D定期体检中不考虑该疾病的证据尚可E定期体检中不考虑该疾病的证据充分(一)CTFPHE标准(二)DavidSackett与ACCP标准1986年证据分级及推荐强度证据水平定义推荐级别定义I有确定结果的大样本RCT(I、II型错误都较低)A至少一项I级试验支持II结果不确定的小样本RCT(I、II型错误都较高)B至少一项II级试验支持III非随机的同期对照试验C只有III、IV、V级证据支持IV非随机的历史对照试验V无对照的系列病例报道2014/4/2214(三)AHRQ标准1992年AHCPR证据分级及推荐强度证据水平定义推荐级别定义Ia随机对照试验的Meta分析AIaIb至少1项随机对照试验IbIIa至少1项设计良好的非随机对照试验BIIaIIb至少1项设计良好的准实验性研究IIbIII设计良好的非试验性研究,如对照研究、相关性研究和病例研究IIIIV专家委员会报告、权威意见或临床经验CIV(四)NEEBGDP与SIGN标准1996年NEEBGDP证据等级证据水平定义推荐级别定义I基于设计良好的随机对照试验meta分析，系统评价A直接基于I级证据的推荐II基于设计良好的队列研究或病例对照研究B直接基于II级证据或由I级证据外推而来的推荐III基于非对照研究或一致的建议C直接基于III级证据的或由II级证据外推而来的推荐2014/4/2215(四)NEEBGDP与SIGN标准表82001年SIGN证据分级及推荐强度证据水平定义推荐级别定义1++随机对照试验的高质量Meta分析、系统评价,或偏倚可能性很小的随机对照试验A直接适用于目标人群的1++或1+级证据1+随机对照试验质量较高的Meta分析、系统评价,或出现偏倚可能性小的随机对照试验1-随机对照试验的Meta分析、系统评价,或出现偏倚可能性大的随机对照试验2++病例对照或队列研究的高质量系统评价,或出现混杂、偏倚和机