【CN110097131A】一种基于对抗协同训练的半监督医疗图像分割方法【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号(43)申请公布日(21)申请号201910378091.5(22)申请日2019.05.08(71)申请人南京大学地址210023江苏省南京市栖霞区仙林大道163号(72)发明人李武军　房康　陈龙意　周嵩　(74)专利代理机构南京乐羽知行专利代理事务所(普通合伙)32326代理人李玉平(51)Int.Cl.G06K9/62(2006.01)G16H30/40(2018.01)(54)发明名称一种基于对抗协同训练的半监督医疗图像分割方法(57)摘要本发明公开一种基于对抗协同训练的半监督医疗图像分割方法，使用少量有标注的医疗图像数据以及大量无标注的医疗图像数据来训练神经网络分割模型从而提升模型性能。模型使用了两个结构不同的解码器分支，这两个解码器分支共享同一个编码器，通过协同训练的方法可以使得两个解码器分支互相学习。同时，模型还使用对抗学习方法来训练一个判别器，判别器可以学习到分割结果和真实标签之间的高阶连续性，从而使得分割网络的输出在视觉上更接近真实标签。同时判别器还可以选择无标注数据的伪标签中置信度较高的部分来训练分割模型。本发明提供的方法不受疾病和病灶种类的限制，可以用于肝脏、口腔等各种部位疾病的医疗图像分割，具有很好的普适性和通用性。权利要求书2页说明书5页附图4页CN110097131A2019.08.06CN110097131A1.一种基于对抗协同训练的半监督医疗图像分割方法，其特征在于：包括使用含有两个解码器分支的编码器-解码器结构的网络进行协同训练的步骤，使用对抗训练来训练判别器，使得判别器可以学习到输出结果和医疗图像真实标签之间的高阶连续性从而可以使得分割网络产生的结果更加接近医疗图像真实标签，同时可以使用判别器选择无标注医疗图像数据的伪标签中置信度较高的区域来更新分割网络的步骤。2.如权利要求1所述的基于对抗协同训练的半监督医疗图像分割方法，其特征在于，所述使用含有两个解码器分支的编码器-解码器网络进行协同训练的具体步骤为：步骤100，输入有标记的医疗图像和其对应的标签(X,Y)以及无标签的医疗图像U，其中H,W表示图像的高度和宽度，K表示类别数，Y是经过独热编码的表示；步骤101，对输入数据进行预处理以及数据增广，包括将数据规范化到[0,1]区间，将输入的医疗图像进行随机水平翻转；步骤102，对于有标签的医疗图像数据X以及无标签医疗图像数据U分别使用共享的编码器对其进行编码处理，然后使用两个解码器分支分别对处理后医疗图像的编码进行解码得到各自的两个分割结果步骤103，对于有标签数据X，使用其标签Y，基于Dice损失以及对抗损失对分割模型产生的输出进行监督，训练分割模型；步骤104，对于无标签数据，利用协同训练的方法，基于类似于Dice损失的损失函数以及对抗损失来使得互相学习，互相训练；协同训练时使用判别器选择出的高置信度区域来更新分割网络；步骤105，使用训练得到的模型对输入图像进行预测：输入一张医疗图像，计算得到两个分割结果然后取这两个结果的平均值作为最后的输出结果。3.如权利要求1所述的基于对抗协同训练的半监督医疗图像分割方法，其特征在于，使用对抗训练来训练判别器以及使用判别器选择伪标签中置信度较高区域的具体步骤为：步骤200，对于有标签的医疗图像数据，分割网络会输出两个伪标签步骤201，判别器的目的是区分出输入的是医疗图像的真实标签还是分割网络产生的伪标签，因此都是负例，而医疗图像数据的真实标签是正例；使用二分类的交叉熵损失函数对判别器进行训练；步骤202，对于无标签的医疗图像数据，只有两个伪标签，即分割网络的输出；将两个伪标签作为负例，使用二分类交叉熵损失函数对判别器进行训练；步骤203，判别器对于无标签医疗图像数据的两个伪标签的判别结果中，置信度都大于某一个阈值的区域就是判别器选择出的置信度较高的区域。4.如权利要求1所述的基于对抗协同训练的半监督医疗图像分割方法，其特征在于，所述整体模型(包括分割网络和判别器)训练的具体流程为：首先初始化机器学习平台，然后随机初始化所要训练的模型参数，进入训练过程：在每轮迭代中首先计算有标签的医疗图像数据和无标签的医疗图像数据的输出，然后基于输出计算相对于分割网络的损失LS以及相对于判别器的损失Ldis，接着计算分割网络和判别器的整体损失L，最后使用这个损失对权　利　要　求　书1/2页2CN110097131A2分割网络和判别器进行更新；整个训练过程使用自适应矩估计法更新网络参数。5.如权利要求4所述的基于对抗协同训练的半监督医疗图像分割方法，其特征在于，定义模型的目标方程其中θs和θd分别表示分割网络和判别器的参数；LS和Ldis分别表示分割网络和判别器的优化目标；Ldis定义如下：其中D(*)为判别器，Lbce为二分类的交叉熵损失，对于输入和定义如下：其中H,W表示输入医疗图像以及输出结果的高度和宽度；LS定义如下：LS＝Ldice+λ1Ladv+λ2Lsemi其中Ldice表示对于有标签的医疗图像数据的分割损失，使用Dice损失，Ladv表示对于有标签的医疗图像数据和无标签的医疗图像数据的对抗损失，Lsemi表示对于无标签的医疗图像数据的协同训练损失；λ1,λ2用来对三项损失函数进行均衡；LS中的三个损失函数分别定义如下：其中O表示有标签的医疗图像数据或者无标签的医疗图像数据；Yh,w,k表示Y在第k个通道上(h,w)位置上的值，表示第i个解码器分支输出结果在第k个通道上(h,w)位置上的值；M表示判别器用来选择高置信度区域的掩码，定义如下：γ表示选择区域的阈值。权　利　要　求　书2/2页3CN110097131A3一种基于对抗协同训练的半监督医疗图像分割方法技术领域[0001]本发明涉及一种基于对抗协同训练的半监督医疗图像分割方法，适用于有标签数据较少而无标签数据较多的医疗图像数据集。并且本发明的方法不受疾病种类的限制，可以应用于肝脏、口腔等各种部位疾病的医疗图像分割，具有普适性和通用性。背景技术[0002]语义分割是医疗影像分析中一个很重要的任务，它可以检测生理结构以及病灶区域的位置和大小，帮助制定医疗方案。随着深度学习的发展，深度神经网络尤其是全卷积网络在分割自然场景图片和医疗图像上都展示了很好的性能。但是目前主流的神经网络结构中都包含了大量需要优化的参数，因此需要大规模的带有像素级标签的数据集来进行训练。但是在医疗领域中获得大规模带标签的数据集是很难的，一方面是因为标注医疗图像需要专业的医学知识，另一方面的原因是标注数据是一项很耗时的重复性劳动；然而大部分的医生都没有很多时间来进行标注。[0003]目前主流的解决医疗图像分割领域中标注数据较少问题的半监督方法大多都是基于自训练的方法，也就是首先使用有标签的数据预训练一个分割模型，然后使用这个模型对无标签数据进行预测产生分割结果。接着选择这些结果中质量较好的那些数据加入到训练集中形成新的训练集，对分割模型重新训练。重复上述步骤直至模型收敛。[0004]但是基于自训练的方法会受限于预训练模型的性能。发明内容[0005]发明目的：针对现有技术中存在的问题与不足，本发明提供一种基于对抗协同训练的半监督医疗图像分割方法，采用了基于协同训练的方法，使两个结构不同的解码器分支互相学习。同时还引入了对抗训练来选择无标签数据的伪标签中置信度较高的区域来更新分割网络。而且本发明提供的方法可以用于肝脏、口腔等各种部位疾病的医疗图像分割，不受疾病和病灶种类的限制，具有很好的普适性和通用性。[0006]技术方案：一种基于对抗协同训练的半监督医疗图像分割方法，包括使用含有两个解码器分支的编码器-解码器结构的网络进行协同训练的步骤，使用对抗训练来训练判别器，使得判别器可以学习到输出结果和医疗图像真实标签之间的高阶连续性从而可以使得分割网络产生的结果更加接近医疗图像真实标签，同时可以使用判别器选择无标注医疗图像数据的伪标签中置信度较高的区域来更新分割网络的步骤。[0007]所述使用含有两个解码器分支的编码器-解码器网络进行协同训练的具体步骤为：[0008]步骤100，输入有标记的医疗图像和其对应的标签(X,Y)以及无标签的医疗图像U，其中H,W表示图像的高度和宽度，K表示类别数，Y是经过独热编码的表示；[0009]步骤101，对输入数据进行预处理以及数据增广，包括将数据规范化到[0,1]区间，说　明　书1/5页4CN110097131A4将输入的医疗图像进行随机水平翻转；[0010]步骤102，对于有标签的医疗图像数据X以及无标签医疗图像数据U分别使用共享的编码器对其进行编码处理，然后使用两个解码器分支分别对处理后医疗图像的编码进行解码得到各自的两个分割结果[0011]步骤103，对于有标签的数据X，使用其标签Y，基于Dice损失以及对抗损失对分割模型产生的输出进行监督，训练分割模型；[0012]步骤104，对于无标签数据，利用协同训练的方法，基于类似于Dice损失的损失函数以及对抗损失来使得互相学习，互相训练。协同训练时使用判别器选择出的高置信度区域(在步骤203中详细描述)来更新分割网络。[0013]步骤105，使用训练得到的模型对输入图像进行预测：输入一张医疗图像，计算得到两个分割结果然后取这两个结果的平均值作为最后的输出结果。[0014]使用对抗训练来训练判别器以及使用判别器选择伪标签中置信度较高区域(用于步骤104中的协同训练)的具体步骤为：[0015]步骤200，对于有标签的医疗图像数据，分割网络会输出两个伪标签[0016]步骤201，判别器的目的是区分出输入的是医疗图像的真实标签还是分割网络产生的伪标签，因此都是负例，而医疗图像数据的真实标签是正例。使用二分类的交叉熵损失函数对判别器进行训练；[0017]步骤202，对于无标签的医疗图像数据，只有两个伪标签，即分割网络的输出。将两个伪标签作为负例，使用二分类交叉熵损失函数对判别器进行训练；[0018]步骤203，判别器对于无标签医疗图像数据的两个伪标签的判别结果中，置信度都大于某一个阈值的区域就是判别器选择出的置信度较高的区域。该区域被用于步骤104中的协同训练。[0019]所述整体模型(包括分割网络和判别器)训练的具体流程为：首先初始化机器学习平台，然后随机初始化所要训练的模型参数，进入训练过程：在每轮迭代中首先计算有标签的医疗图像数据和无标签的医疗图像数据的输出，然后基于输出计算相对于分割网络的损失LS以及相对于判别器的损失Ldis，接着计算分割网络和判别器的整体损失L，最后使用这个损失对分割网络和判别器进行更新；整个训练过程使用自适应矩估计法更新网络参数。[0020]定义模型的目标方程[0021][0022]其中θs和θd分别表示分割网络和判别器的参数。LS和Ldis分别表示分割网络和判别器的优化目标。Ldis定义如下：[0023][0024]其中D(*)为判别器，Lbce为二分类的交叉熵损失，对于输入和定义如下：[0025][0026]其中H,W表示输入医疗图像以及输出结果的高度和宽度。说　明　书2/5页5CN110097131A5[0027]LS定义如下：[0028]LS＝Ldice+λ1Ladv+λ2Lsemi[0029]其中Ldice表示对于有标签的医疗图像数据的分割损失，使用Dice损失，Ladv表示对于有标签的医疗图像数据和无标签的医疗图像数据的对抗损失，Lsemi表示对于无标签的医疗图像数据的协同训练损失。λ1,λ2用来对三项损失函数进行均衡。Ls中的三个损失函数分别定义如下：[0030][0031][0032][0033]其中O表示有标签的医疗图像数据或者无标签的医疗图像数据；Yh,w,k表示Y在第k个通道上(h,w)位置上的值，表示第i个解码器分支输出结果在第k个通道上(h,w)位置上的值。M表示判别器用来选择高置信度区域的掩码，定义如下：[0034][0035]γ表示选择区域的阈值。[0036]有益效果：与现有技术相比，本发明提供的基于对抗协同训练的半