基于人工智能和医疗大数据的影像组学及临床应用

1CHIMA2017大数据应用分会场基于人工智能和医疗大数据的影像组学及临床应用2017年8月12日中国科学院分子影像重点实验室田捷，Ph.D.IEEE,SPIE,AIBME，IAMBE,OSA,IAPRFellow2报告内容智能医疗研究背景智能医疗研究内容智能医疗未来方向3背景—智能医疗是国家重大战略发展需求2017年7月20日，中共中央国务院办公厅印发《新一代人工智能发展规划》规划指出：研发人机协同临床智能诊疗方案，实现智能影像识别、病理分型和智能多学科会诊。4背景—智能医疗是国际学术前沿热点人工智能可精确诊断自闭症谱系障碍人工智能皮肤癌诊断精度达专家水平201620172017Google斯坦福大学北卡罗来纳大学人工智能糖网病诊断精度可用于临床5背景—智能医疗是医学转化的战略高地利用IntelligenceEngine剖析健康数据，为患者就诊和意外急诊做准备2014Microsoft2015IBM分析医学文献和病患诊疗记录，为患者提供高质量、循证型个体化的诊疗方案2016Google建立健康风险警告系统，借助移动终端推送健康风险警告，并及时通知医生6传统医疗智能医疗背景—现在是发展智能医疗最佳时机人工智能医疗大数据智能诊断疗效评估预后预测影像组学方法资源切入点人脑小数据计算机大数据7满足国家战略需求智能医疗瞄准国际学术前沿抓紧最佳发展时机抢占医学转化高地针对国家重大战略发展需求，顺应国际人工智能发展趋势创新智能医疗核心关键技术，驱动重大疾病临床诊疗发展智能医疗小结8癌症诊疗面临重大挑战美国NIH癌症大数据显示52年间癌症5年生存率无实质性进展DatafromNationalCancerInstituteofNIH(2016)五年生存率%N=2,060,3889肿瘤大小5mm1kg左右肿瘤1~3年5~20年细胞表达生物分子异常正常基因异常开始增殖前癌病变形成癌灶出现病状死亡转移传统成像技术难以实现早期微小肿瘤成像基因技术检测早期基因异常？人工智能医疗大数据影像组学影像组学融合临床、基因和影像大数据信息，基于人工智能技术为实现精准诊断提供新机遇基因异常新陈代谢异常器官结构异常时间影像组学为癌症精准诊疗提供新机遇10影像组学概念影像组学结合医学影像、基因和临床大数据，利用人工智能方法挖掘肿瘤信息，实现临床辅助决策概念完善概念提出临床应用Nat.Comm.2014,5:4006EJC2012,48:441-446MRI2012,30(9):1234.医疗影像数据定量特征提取人工智能模型临床辅助决策11报告内容智能医疗研究背景智能医疗研究内容智能医疗未来方向13典型临床应用核心关键技术影像组学肿瘤大数据智能诊断肿瘤治疗效果评估肿瘤预后生存期预测精准肿瘤分割标注海量特征提取筛选人工智能模型构建影像组学研究内容14影像组学典型临床应用概述智能诊断影像组学智能评估智能预测肿瘤病理智能分型癌症转移智能诊断智能预测患者生存智能预测患者预后ClinicalCancerResearch2016ClinicalCancerResearch2017NatureCommunications2014JournalofClinicalOncology2016ScienceTranslationalMedicine2015ClinicalCancerResearch2016新辅助疗效评估抗血管疗效评估15Harukaetal,ScienceTranslationalMedicine,2015,7:303.SCIIF(2015):16.264智能诊断(1/3)—胶质母细胞瘤亚型诊断术前胶质母细胞瘤瘤亚型分型缺少必要的诊断方法临床问题应用效果临床数据265例基因、影像数据完整的多中心脑胶质瘤患者数据影像组学特征能区分GBM亚型，并指导靶向治疗智能方法提取388个影像特征进行聚类分析，并与基因信息关联美国斯坦福大学利用多中心数据研究脑胶质瘤影像与基因关联关系16广东省人民医院、中科院自动所合作预测结直肠癌淋巴结转移YanqiHuang,etal,JournalofClinicalOncology,2016,34(18):2157.SCIIF(2015):20.98术前结直肠癌淋巴结转移难以诊断，术中采用盲目切除临床问题应用效果临床数据500余例临床病理、影像数据完整的结直肠癌患者数据将结直肠癌淋巴结清扫的假阳性率从70%降低到30%智能诊断(2/3)-术前结直肠癌淋巴结转移诊断智能方法选择关键影像特征结合临床病理信息建立诺莫预测模型17斯坦福大学使用人工智能方法将皮肤癌精准诊断推向日常EstevaA,etal,Nature,2017,542(7639):115-118.SCIIF(2015):38.138皮肤癌发病率高，确诊依赖于皮肤镜分析和病理学检验近13万张皮肤疾病照片，2千张病理证实数据用于验证皮肤癌良恶性分类及黑色素瘤识别达到临床诊断水平构建迁移学习神经网络模型，用于皮肤疾病自动分类临床问题应用效果临床大数据智能方法智能诊断(3/3)—皮肤癌类别精准诊断(1/2)18EstevaA,etal,Nature,2017,542(7639):115-118.SCIIF(2015):38.138数据标定临床问题智能方法肿瘤良恶性粗分类黑色素瘤筛查细分类临床医生诊断+病理证实迁移学习：Google’sInceptionv3CNN(经128万张自然图像进行训练)深度学习网络模型能够有效分类皮肤癌，对临床上最关键的黑色素瘤诊断达到专家水平智能诊断(3/3)—皮肤癌类别精准诊断(2/2)19智能评估(1/2)—直肠癌新辅助放化疗效果评估北京大学肿瘤医院、中科院自动化研究所医工交叉合作直肠癌术前难判断放化疗效果，导致pCR患者过度治疗临床问题应用效果临床数据429例新辅助放化疗后直肠癌患者多模态磁共振成像实现直肠癌新辅助放化疗效果定量评估AUC0.9智能方法提取多模态磁共振成像特征，进行人工智能分析pCR患者图像非pCR患者图像ZhenyuLiu,etal,ClinicalCancerResearch,minorrevision.20传统临床方法无法评估脑胶质瘤抗血管生成治疗效果临床问题应用效果临床数据172例治疗信息完整的脑胶质瘤患者多模态磁共振数据实现贝伐单抗治疗获益脑胶质瘤患者的智能无创筛选智能方法基于机器学习的Cox分析，预测患者治疗后PFS和OSKickingerederetal,ClinicalCancerResearch,2016,22(23):5765-71.SCIIF:9.619德国海德堡大学利用影像组学评估脑胶质瘤抗血管生成治疗效果智能评估(2/2)—脑胶质瘤抗血管生成疗效评估21影像数据挖掘不足，肺癌头颈癌患者预后难以定量评估临床问题应用效果临床数据1000余例病理、影像数据完整的肺癌和头颈癌患者数据影像组学标签具有显著的预后价值，并与基因显著相关智能方法提取强度形状纹理小波等特征建立标签，进行智能分析Aertsetal.NatureCommunications,2014,5:4006.美国莫菲特癌症中心联合多方科学家研究影像组学定量研究方法智能预测(1/3)—肺癌头颈癌预后预测(1/2)22智能预测(1/3)—肺癌头颈癌预后预测(2/2)Aertsetal.NatureCommunications,2014,5:4006.SCIIF(2015):11.329影像组学通过融合影像、基因和病理特征建立影像组学标签，揭示影像与患者预后联系数据分割特征预后预测强度形状小波纹理美国莫菲特癌症中心RobertJ.Gillies影像组学最早提出者之一23YanqiHuang,etal,Radiology,2016,281(3):947-957.SCIIF(2015):6.798广东省人民医院与中科院自动化所合作非小细胞肺癌生存预测智能预测(2/3)—肺癌无进展生存期预测传统临床方法对NSCLC患者无病生存期预测效果有限临床问题应用效果临床数据282例规范完整的早期非小细胞肺癌患者CT数据影像组学特征比传统方法能够更好预测无病生存期智能方法LASSOCox回归提取关键影像特征，构建预测模型24智能预测(3/3)—晚期鼻咽癌的预后预测广东省人民医院与中科院自动化所医工合作ClinicalCancerResearch,2017.DOI：10.1158/1078-0432.CCR-16-2910.临床指标对晚期鼻咽癌的放疗预后预测精度低临床问题应用效果临床数据118例晚期鼻咽癌T1和DCEMR图像，随访时间大于3年有效预测晚期鼻咽癌患者预后，准确度超临床指标10%智能方法提取970个组学特征结合临床病理信息进行智能分析25影像组学新模态应用——PET影像组学应用效果临床数据智能方法宫颈癌分期主观性强，亟需定量分期的手段医科院肿瘤医院42例不同临床分期宫颈癌PET-CT数据人工智能方法可以显著提高分期能力，优于医生判断自动提取58个PET特征人工智能进行分期预测临床问题WeiMu,etal,PhysicsinMedicine&Biology,60(13):5123-5139,201526影像组学新模态应用——超声影像组学应用效果临床数据智能方法超声难以判断肝纤维化亟需定量判断的手段279例肝癌超声数据79正常、200例纤维化人工智能方法的诊断结果准确度82.1%，优于医生利用CNN迁移学习方法VGGNet的模型微调临床问题DanMeng,etal,IEEEAccess,2017,(99):1-1肝纤维化27典型临床应用核心关键技术影像组学肿瘤大数据智能诊断肿瘤治疗效果评估肿瘤预后生存期预测精准肿瘤分割标注海量特征提取筛选人工智能模型构建影像组学研究内容28影像组学关键技术面对系列临床问题，影像组学采用人工智能等方法进行分析研究以实现临床辅助决策肿瘤分割特征提取特征降维模型构建强度形状纹理小波肿瘤分期肿瘤分型预后分析辅助诊断临床空间映射稀疏选择神经网络递归排除图割算法区域生长水平集分水岭29影像组学关键技术—精准肿瘤分割(1/3)手工勾画肿瘤边缘费时费力且主观性较强临床肿瘤影像数据量庞大开发自动精准的肿瘤分割算法尤为重要影像组学研究需首先对病变肿瘤区域精准定位30LIDC公开数据集819例数据dice系数为81.57%.较之于水平集方法和图割方法，精度提高14.95%(p0.0005)和10.18%(p=0.004).3D2D提出基于区域生长的肺结节半自动精准分割方法JiangdianSong,etal.IEEETMI,35(1):337-53,2016.影像组学关键技术—精准肿瘤分割(2/3)31对组织粘连和空腔等多种肺结节分割精度较高在LIDC公开数据集493例肺结节上分割Dice系数为82.15%双分支网络融合2D和3D信息多尺度输入提取多尺度特征中心池化运算保留关键特征影像组学关键技术—精准肿瘤分割(3/3)ShuoWang,etal,MedicalImageAnalysis,40:172–183,2017提出中心池化卷积神经网络分割肺壁粘连等多种肺结节多种挑战性结节分割32影像组学关键技术—特征提取GLCMGLRLMGLSZMNGTDM特征描述高通量影像学特征强度最大值、标准方差、能量等形状紧密度、最长直径、体积等纹理灰度共生矩阵特征、和熵等小波边界、自由与粘贴面积比等经验特征毛刺症、分叶症、胸膜凹陷等文本信息年龄、性别、吸烟、家族史等基因信息EGFR突变、ALK突变、HER2病理信息病理分化程度、鳞癌、腺癌、癌胚抗原CEA将计算机定量特征、经验特征、文本信息、基因信息和病理信息相结合，全面量化肿瘤异质性。强度形状纹理小波33影像组学关键技术—特征降维稀疏选择特征数高维度特征包含海量信息，需特征降维以剔除无关信息获取关键信息递归排除特征数准确率特征输出特征输入神经网络特征输入特征输出空间映射四类主要特征降维方法34影像组学关键技术—模型构建(1/2)针对具体临床问题，建立计算机定量影像特征与所研究临床研究问题标签之间的分