基于深度学习的医学影像大数据 分析

基于深度学习的医学影像大数据分析ZhaoDiComputerNetworkInformationCenterChineseAcademyofSciences2016年图形处理器技术大会北京国际饭店会议中心，2016年9月13日关于我关于我：博士毕业论文细胞间的热传导；采用微分方程模型，全文上千公式；关于我：哥伦比亚大学工作关于我：哥伦比亚大学生物医学信息中心生物医学信息分析；采用贝叶斯模型；关于我：OSU脑科学中心关于我：OSU脑科学中心MRI成像与图像分析的训练，西门子公司；采用贝叶斯模型；导师：MarkA.Pitt教授，JayMyung教授，Zhong-LinLu教授，认知科学基于深度学习的医学图像分析•医学影像技术提供了新的契机PETSPECT描述人体组织解剖结构信息描述人体组织代谢信息基于卷积神经网络的医学图像分析基于深度神经网络的医学图像分析深度学习中的主要网络：（1）自编码机AutoEncoder（2）稀疏编码SparseCoding（3）限制性玻尔兹曼机RBM（4）深度置信网络DeepBeliefNetwork（5）深度卷积神经网络Hinton于2006年提出，与GPU计算结合，使得大规模的数据学习和多层网络训练成为可能。深度学习——疾病的分类•脑：脑血管病，神经退行性疾病（阿尔茨海默病，帕金森病，癫痫），精神疾病（抑郁症，精神分裂症），脑瘤•胸：心脏疾病，肺结节/肺癌，乳腺结节/乳腺癌•颈：颈动脉检测，甲状腺癌•眼：糖尿病眼病•皮肤：皮肤癌•腹部：胃癌•男性骨盆：前列腺癌•女性骨盆：子宫颈癌•耳•鼻•背•四肢•臀•腰阿尔茨海默病（Alzheimer'sdisease）ABC阿尔茨海默病（Alzheimer‘sdisease）是一种起病隐匿的进行性发展的神经系统退行性疾病。阿尔茨海默病导致脑神经细胞死亡，脑组织缺失。如左图所示，阿尔茨海默病将导致严重的脑萎缩临床上以记忆障碍、失语、失用、失认、视空间技能损害、执行功能障碍以及人格和行为改变等全面性痴呆表现为特征，病因迄今未明。阿尔茨海默病（Alzheimer‘sdisease）是一种起病隐匿的进行性发展的神经系统退行性疾病。阿尔茨海默病导致脑神经细胞死亡，脑组织缺失。如左图所示，阿尔茨海默病将导致严重的脑萎缩；阿尔茨海默病尚未找到有效的治疗手段，临床上”早期发现，早期干预”，对于减轻病人脑部损害有非常重要的意义。临床上以记忆障碍、失语、失用、失认、视空间技能损害、执行功能障碍以及人格和行为改变等全面性痴呆表现为特征，病因迄今未明；ClassificationofAlzheimer’sDiseaseStructuralMRIDatabyDeepLearningConvolutionalNeuralNetworksInthispaper,weusedconvolutionalneuralnetworktoclassifyAlzheimer’sbrainfromnormalhealthybrain.Theimportanceofclassifyingthiskindofmedicaldataistopotentiallydevelopapredictmodelorsysteminordertorecognizethetypediseasefromnormalsubjectsortoestimatethestageofthedisease.UsingConvolutionalNeuralNetwork(CNN)andthefamousarchitectureLeNet-5,wesuccessfullyclassifiedstructuralMRIdataofAlzheimer’ssubjectsfromnormalcontrolswheretheaccuracyoftestdataontraineddatareached98.84%.SamanSarraf,GhassemTofighi,ClassificationofAlzheimer'sDiseaseStructuralMRIDatabyDeepLearningConvolutionalNeuralNetworks,’sDiseaseUsingfMRIDataandDeepLearningConvolutionalNeuralNetworksInthispaper,weusedconvolutionalneuralnetworktoclassifyAlzheimer’sbrainfromnormalhealthybrain.ofclinicaldatasuchasAlzheimer’sdiseasehasbeenalwayschallengingandmostproblematicparthasbeenalwaysselectingthemostdiscriminativefeatures.UsingConvolutionalNeuralNetwork(CNN)andthefamousarchitectureLeNet-5,wesuccessfullyclassifiedfunctionalMRIdataofAlzheimer’ssubjectsfromnormalcontrolswheretheaccuracyoftestdataontraineddatareached96.85%.SamanSarraf,GhassemTofighi,ClassificationofAlzheimer'sDiseaseusingfMRIDataandDeepLearningConvolutionalNeuralNetworks,arXiv:1603.08631[cs.CV].18:582016/9/12DeepAD:Alzheimer′sDiseaseClassificationviaDeepConvolutionalNeuralNetworksusingMRIandfMRIThisworkoutlinesstate-of-the-artdeeplearning-basedpipelinesemployedtodistinguishAlzheimer'smagneticresonanceimaging(MRI)andfunctionalMRIdatafromnormalhealthycontroldataforthesameagegroup.Usingthesepipelines,whichwereexecutedonaGPU-basedhighperformancecomputingplatform,thedatawerestrictlyandcarefullypreprocessed.Next,scaleandshiftinvariantlow-tohigh-levelfeatureswereobtainedfromahighvolumeoftrainingimagesusingconvolutionalneuralnetwork(CNN)architecture.SamanSarraf,GhassemTofighi,DeepAD:Alzheimer′sDiseaseClassificationviaDeepConvolutionalNeuralNetworksusingMRIandfMRI,深度学习——脑疾病图像分析数据源：ADNI；合作单位：北京天坛医院、等深度学习——脑疾病图像分析深度学习——脑疾病图像分析本项目获得了“2016年北京市自然科学基金重点项目”的资助深度学习——脑疾病图像分析深度学习——具有专业知识的深度学习更高的准确率、更小的训练样本与首都医科大学附属宣武医院合作研究1.AD诊断MRIPETCSF其它临床诊断fMRIROIsROIsROIs多通道深度学习模型1多通道深度学习模型2多通道深度学习模型3深度学习模型N加权贝叶斯网络权重w1权重w2权重w3权重w(n)权重w(n-1)临床诊断决策结果通道1通道N……通道1通道N……通道1通道N……………………1.AD诊断-ADNIAD生物标记物：脑内Aβ沉积，脑脊液的tau，PET，结构性MRI1.AD诊断-临床1.AD诊断-预处理•分割各个脑区1.AD诊断-预处理杏仁核、海马、内嗅皮层结构标记（线性测量，体积）•线性指标中，颞角宽度敏感度最高•双侧颞角水平正好代表海马的中部，在此区域包含了大量的联系纤维(内嗅区、海马、海马旁回等与大脑额、颞叶的纤维联系)，早期的病理改变常局限在此区域•线性测量的重复性和特异性较低1.AD诊断-预处理•面积测量•测量前后连合间层面的额叶、颞叶、侧脑室体部断面、颞角和外侧裂平均横断面面积•萎缩率最高的是颞角，然后依次为侧脑室体部、外侧裂、颞叶，最后为额叶•面积测量忽略了皮层厚度对于萎缩程度的影响•轻度AD海马萎缩约为15%-22%，严重者可达40%•内嗅皮层、旁嗅皮层及颞极皮层在AD均显示萎缩，以内嗅皮层萎缩最明显•海马及内嗅皮层萎缩可以早期诊断AD，体积测定诊断AD的准确度约85%-94%•体积测量深度学习——疾病的分类•脑：脑血管病，神经退行性疾病（阿尔茨海默病，帕金森病，癫痫），精神疾病（抑郁症，精神分裂症），脑瘤•胸：心脏疾病，肺结节/肺癌，乳腺结节/乳腺癌•颈：颈动脉检测，甲状腺癌•眼：糖尿病眼病•皮肤：皮肤癌•腹部：胃癌•男性骨盆：前列腺癌•女性骨盆：子宫颈癌•耳•鼻•背•四肢•臀•腰DeepLearning-ParkinsonsDiseasesPDDiseaseStateAssessmentinNaturalisticEnvironmentsusingDeepLearningInthisworkweproposeanassessmentsystemthatabidespracticalusabilityconstraintsandappliesdeeplearningtodifferentiatediseasestateindatacollectedinnaturalisticsettings.Basedonalargedata-setcollectedfrom34peoplewithPDweillustratethatdeeplearningoutperformsotherapproachesingeneralisationperformance,despitetheunreliablelabellingcharacteristicforthisproblemsetting,andhowsuchsystemscouldimprovecurrentclinicalpractice.NilsY.Hammerla,JamesM.Fisher,PeterAndras,LynnRochester,RichardWalker,ThomasPlotz,PDdiseasestateassessmentinnaturalisticenvironmentsusingdeeplearning,AAAI'15ProceedingsoftheTwenty-NinthAAAIConferenceonArtificialIntelligence,1742-1748.深度学习——疾病的分类•脑：脑血管病，神经退行性疾病（阿尔茨海默病，帕金森病，癫痫），精神疾病（抑郁症，精神分裂症），脑瘤•胸：心脏疾病，肺结节/肺癌，乳腺结节/乳腺癌•颈：颈动脉检测，甲状腺癌•眼：糖尿病眼病•皮肤：皮肤癌•腹部：胃癌•男性骨盆：前列腺癌•女性骨盆：子宫颈癌•耳•鼻•背•四肢•臀•腰深度学习—肺癌筛查•医学诊断现状：仅通过单次CT图像不能判断碘灌注增强仅通过医学图像不能判断病理分析•医学诊断期望：通过医学图像判断肿瘤的良恶性并给出量化的特征，如某一评分指标