临床试验数据管理质量评价指标体系

·1374·药学学报ActaPharmaceuticaSinica2015,50(11):1374−1379临床试验数据管理质量评价指标体系陈朝华*,黄钦,邓亚中,张玥,胥煜,于浩,刘宗范执笔(中国临床试验数据管理学组)摘要:临床试验数据质量管理体系是确保临床研究数据真实完整、一致可靠的关键。本文中所收录的临床试验数据管理评价指标,按照临床试验的进展过程归纳为在启动阶段、进行阶段及结束阶段分别适用的指标。在每一个进展阶段中,又依据数据质量ALCOA+原则列举了不同目的的评价指标,如体现数据完整性、准确性、及时性、可溯源性等方面的指标。最后列举了一些综合质量管理常用的相关指标。本文对每一个指标的定义、目的、评价结果、建议标准及达标要求等进行了逐一描述。力求详实具体,并具有实际可行的指导意义。建立完整可行的综合指标体系、全面管理临床试验数据质量,不仅可以帮助申办者或数据管理机构达到全面、系统、可持续管理单个临床试验数据质量的目的,同时也可以为综合评价多个项目之间、不同申办机构之间、以及不同数据管理机构之间的临床试验数据质量对比奠定基础,提供重要而且客观的实际依据,使建立行业通用的质量标准成为可能,并助力推动整个行业共同快速进步。关键词:临床试验;数据管理;质量管理体系;评价指标中图分类号:R969文献标识码:A文章编号:0513-4870(2015)11-1374-06ClinicaltrialdatamanagementandqualitymetricssystemCHENZhao-hua*,HUANGQin,DENGYa-zhong,ZHANGYue,XUYu,YUHao,LIUZong-fan(OnBehalfofClinicalTrialDataManagementWorkingGroupofChina)Abstract:Dataqualitymanagementsystemisessentialtoensureaccurate,complete,consistent,andreliabledatacollectioninclinicalresearch.Thispaperisdevotedtovariouschoicesofdataqualitymetrics.Theyarecategorizedbystudystatus,e.g.studystartup,conduct,andclose-out.Ineachcategory,metricsfordifferentpurposesarelistedaccordingtoALCOA+principlessuchuscompleteness,accuracy,timeliness,traceability,etc.Somegeneralqualitymetricsfrequentlyusedarealsointroduced.Thispapercontainsdetailinformationasmuchaspossibletoeachmetricbyprovidingdefinition,purpose,evaluation,referencedbenchmark,andrecommendedtargetsinfavorofrealpractice.Itisimportantthatsponsorsanddatamanagementserviceprovidersestablisharobustintegratedclinicaltrialdataqualitymanagementsystemtoensuresustainablehighqualityofclinicaltrialdeliverables.Itwillalsosupportenterpriselevelofdataevaluationandbenchmarkingthequalityofdataacrossprojects,sponsors,datamanagementserviceprovidersbyusingobjectivemetricsfromtherealclinicaltrials.Wehopethiswillbeasignificantinputtoacceleratetheimprovementofclinicaltrialdataqualityintheindustry.Keywords:clinicaltrial;datamanagement;qualitymanagementsystem;metrics1前言临床试验数据质量管理体系是确保临床研究数收稿日期:2015-10-10;修回日期:2015-10-20.*通讯作者E-mail:[e-mail]据真实完整、一致可靠的关键。完善的临床试验数据质量管理应包括明确的数据质量目标、对试验参与者和数据管理计算机系统的操作流程及质量控制的具体规定,以及全面的数据管理质量评价指标体系。申办者或数据管理机构应根据适用的标准操作陈朝华等:临床试验数据管理质量评价指标体系·1375·流程、计算机操作系统、人员分工及技术范畴等特点,制定一套完整可行的临床试验数据质量管理综合指标体系,定期对开展的临床试验项目进行质量评价。所选用的评价指标应涵盖临床试验进展的各个阶段,并可以体现符合GCP要求的规范化临床试验操作和ALCOA+数据质量原则,对数据的标准化采集、处理、审核、质疑及转化溯源等关键步骤的质量控制进行有效的衡量和准确的分析。还可以选取某些关键步骤的指标作为综合评价的主要指标,预设权重,借用平衡记分表的方式建立可操作的评分机制,设定综合达标要求的长期跟踪管理。建立完整可行的综合指标体系、全面管理临床试验数据质量,不仅可以帮助申办者或数据管理机构达到全面、系统、可持续管理单个临床试验数据质量的目的,同时也可以为综合评价多个项目之间、不同申办机构之间、以及不同数据管理机构之间的临床试验数据质量对比奠定基础,提供重要而且客观的实际依据,使建立行业通用的质量标准成为可能,并助力推动整个行业共同快速进步。本专家共识中所收录的临床试验数据管理评价指标,按照临床试验的进展过程归纳为在启动阶段、进行阶段及结束阶段分别适用的指标。在每一个进展阶段中,又依据数据质量ALCOA+原则列举了不同目的的评价指标,如体现数据完整性、准确性、及时性、可溯源性等方面的指标。最后列举了一些综合质量管理常用的相关指标。在这些指标中,有些是定性指标,有些是可以量化的。对每一个指标的定义、目的、评价结果、建议标准及达标要求等进行了逐一描述。力求详实具体,并具有实际可行的指导意义。需要特别指出的是,建议标准及达标要求尚无行业统一的标准,本文中给出的建议是借鉴了部分有经验的数据管理机构的最佳实践经验,有些指标直接引用了我国国家食品药品监督管理总局颁布的《临床试验数据管理工作指南》中的相关规定,以资借鉴参考。2临床试验数据管理质量评价指标2.1临床试验启动阶段2.1.1数据质量评估指标编号指标定义目的评价结果建议标准及达标要求1数据标准的采用在病例报告表设计中是否采纳了数据标准。体现数据采集的标准化程度。是/否力求为‘是’,并采用行业通用的CDISC标准。但基于目前行业内的实际操作情况,也可以采用符合监管部门审批要求的申办者特定的数据标准或结合使用。2数据标准采用度使用数据标准的模块数占病例报告表模块总数的百分比。体现单个临床试验项目执行数据标准的程度。实际百分比力求100%。实际百分比越高表示数据采集标准化程度越好,但因CDISC也在不断完善发展中,某些治疗领域的疗效指标尚不能全部涵盖,因此应依据实际情况尽量采纳标准化设计。3通过数据库用户接受测试(UAT)在数据库启用前完成了数据库用户接受测试(UAT)并有完整的测试内容、判断标准、及测试记录和结果。体现数据库启用前经预先测试保证其可执行,可操作。是/否达标要求为“是”,并保存完整的记录。未经用户接受测试(UAT)的数据库不能在生产环境启用。4通过数据库的质控通过事先定义的质控内容和标准检验数据库的设计是否符合要求。体现数据库设计的质量。是/否达标要求为“是”,并保存完整的记录。2.1.2数据管理操作评估指标编号指标定义目的评价结果建议标准及达标要求1病例报告表设计的及时性病例报告表是/否在第一位受试者入选前获准启用。体现病例报告表设计及启用的及时性。是/否达标要求为“是”,并保存完整的记录文件。2数据库设计的及时性数据库是/否在第一位受试者入选前获准启用。体现数据库设计及启用的及时性。是/否达标要求为“是”,并保存完整的记录文件。3数据库运行环境的稳定性数据库运行环境(如:网络/服务器/停机时间,等)及安全备份配置是/否经测试合格并保留记录。体现数据库运行环境的保障及安全。是/否达标要求为“是”,并保存完整的记录文件。4电子病例报告表(数据库)培训数据库使用者名单对应授权用户开启之前的培训记录的百分比。体现所有用户在授权使用数据库工具前获得系统培训。实际百分比达标要求为100%,并保存完整的记录文件。5用户权限管理准确率①正确授权用户数目/实际授权用户数目。②在规定时间内取消授权的用户/实际取消授权用户总数。体现所有用户在授权使用的时间段内按照角色定义获得正确的相应权限数据库账户并在任务完成后及时取消权限。实际百分比达标要求均为为100%。·1376·药学学报ActaPharmaceuticaSinica2015,50(11):1374−13792.2临床试验进行阶段2.2.1数据采集工具的稳定性编号指标定义目的评价结果建议标准及达标要求1病例报告表修正版病人入组后,非研究方案修改导致的病例报告表修正版。体现受试者入组前病例报告表设计的质量。实际次数达标要求为0次。实际次数越低表示病例报告表设计越准确。2数据库的改版数据库批准启用后,非研究方案或病例报告表修改导致的数据库结构、逻辑检查及计算程序的修改。体现受试者入组前数据库设计的质量。实际次数力求为0次。包括数据库结构,逻辑检查及计算程序,实际次数越低表示数据库设计越准确。2.2.2数据的完整性编号指标定义目的评价结果建议标准及达标要求1受试者信息及时录入率已开始录入数据的受试者数目/实际入组的受试者数目。体现入组的受试者数据及时进入数据库的比例。实际百分比力求接近100%,根据数据管理计划确定的数据录入时间窗,及时录入数据库。可以分研究中心,国家和试验整体分别计算。2研究数据及时录入率已经录入的数据点数量/所有发生并预期录入的数据点总数。体现预期数据及时进入数据库的比例。实际百分比力求接近100%,根据数据管理计划确定的数据录入时间窗,及时录入数据库。可以分研究中心,国家和试验整体分别计算。3未及时录入数据的数量所有已经发生、预期录入但尚未录入的数据点总数。体现未及时录入数据的数量和具体内容。实际数目力求接近“0”,根据数据管理计划确定的数据录入时间窗,及时录入数据库。一般对整个试验进行统计,并列出未及时录入的数据点名称。直接显示未及时录入的数据,方便检查。2.2.3数据疑问编号指标定义目的评价结果建议标准及达标要求1数据审核QC错误率选取一定范围的数据(例如20%)进行第三方QC,记录所有在常规数据审核过程中未发现的数据错误,计算QC发现的错误数据点数量/所有QC的数据点数量。体现常规数据审核的质量,并且也可以体现数据整体质量。实际百分比达标要求为“数值变量不一致应小于0.2%;文本变量不一致应小于0.5%;关键数据(研究方案确定的重要数据)可以要求0%错误率”。如果错误率超出允许范围,或发现某些严重错误,可以扩大质控样本量直至100%QC。2外部数据验证错误率针对IVRS、中心实验室、严重不良事件等外部数据,计算外部数据与数据库数据不匹配的数据点数量/验证中对比的所有数据点数量。体现外部数据和数据库对比的匹配程度。实际百分比达标要求为“0”,一般可以分别通过修改研究中心录入错误或外部数据源错误解决不一致的数据点,可分别统计并作为数据