【CN110097103A】基于生成对抗网络的半监督图像分类方法【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号(43)申请公布日(21)申请号201910323702.6(22)申请日2019.04.22(71)申请人西安电子科技大学地址710071陕西省西安市雁塔区太白南路2号(72)发明人田小林　李帅　李芳　荀亮　李娇娇　焦李成　(74)专利代理机构陕西电子工业专利中心61205代理人王品华(51)Int.Cl.G06K9/62(2006.01)(54)发明名称基于生成对抗网络的半监督图像分类方法(57)摘要本发明公开了一种基于生成对抗网络的半监督图像分类方法，主要解决现有的无监督学习分类精度低和半监督学习需要大量精确标签的问题，其实现步骤为：1)选取并下载标准图像训练样本和测试样本；2)设定网络监督学习相关参数，并搭建一个由生成器网络、判别器网络和辅助分类器并列组成的生成对抗网络；3)利用随机梯度下降方法对生成对抗网络进行训练；4)将待分类的测试样本输入到训练好的生成对抗网络模型中，输出待检测图像的类别。本发明提高了无监督学习的图像分类精度，并能够在只含有少量精确标注样本的样本集上获得很好的图像分类效果，可用于实际场景中目标分类。权利要求书3页说明书6页附图2页CN110097103A2019.08.06CN110097103A1.一种基于生成对抗网络的半监督图像分类方法，其特征在于，利用生成对抗网络的极大极小博弈来达到网络训练的纳什平衡；采用判别器网络中的辅助分类器网络对检测目标完成分类任务，实现步骤包括如下：(1)选取并下载图像分类标准训练样本集，并进行归一化操作；(2)设定监督学习参数：即先针对归一化训练样本集设定监督学习的训练标签数量；再设定每一次网络训练的样本数量；然后通过标签数量和每次网络训练的样本数量设定监督学习的标志位；(3)搭建一个由生成器网络、判别器网络和辅助分类器并列组成的生成对抗网络，其中，生成器网络设为5层，判别器网络设为4层，辅助分类器设为5层；(4)对生成对抗网络进行训练：(4a)将归一化后的训练样本集输入到生成对抗网络中的判别器网络，提取每个样本中初始目标图像的特征，并将所有特征组成图像特征图，通过判别器网络的最后一层输出1个单位向量，用于确定特征图像的类别；(4b)通过生成器网络接收一个噪声向量，并将其映射成一张特征图，再将这张特征图与真实训练样本一起作为判别器网络的输入，得到第一次训练后的判别器网络参数；(4c)使用第一次训练后的判别器网络参数更新生成器网络参数，再固定更新后的生成器网络参数再次训练判别器网络，依次迭代训练判别器网络和生成器网络；(4d)利用生成器梯度更新公式，并加入特征匹配项，计算每一次迭代训练后生成器网络权值；(4e)利用监督学习和无监督损失函数，计算判别器网络每个分类结果值与分类结果的真实值之间的误差值；(4f)利用随机梯度下降法，并对训练样本集增加标签平滑操作，更新生成器网络和判别器网络的每一个节点的权值，直到判别器网络对于真实样本和虚假样本的分类精度达到纳什平衡，得到训练好的生成对抗网络模型；(5)对待检测图像分类：将含待分类目标的图像输入到训练好的生成对抗网络模型中，输出类别选项的概率值，选择概率值最高的类别选项作为分类结果进行输出。2.根据权利要求1所述的方法，其中(2)中针对归一化训练样本集设定监督学习的训练标签数量，是通过统计总训练样本数量，控制监督学习标签数据占总训练数据的百分比，根据百分比数值计算出监督学习的训练标签数量。3.根据权利要求1所述的方法，其中(2)中通过标签数量和每次网络训练的样本数量设定监督学习的标志位，实现如下：设置一个监督学习符号标志位flag来区分监督学习和无监督学习的样本训练，当进行监督学习训练时，设置监督学习符号标志位为有效状态1，判别器网络计算监督学习的损失函数，当进行无监督学习训练时，设置监督学习符号标志位为无效状态0；判别器网络计算无监督学习的损失函数，并通过带标签样本数量和每次网络训练的样本数量计算监督学习的标志位有效次数。4.根据权利要求1所述的方法，其中(3)中的判别器网络，由4层卷积层和1层全连接层组成，各层参数如下：权　利　要　求　书1/3页2CN110097103A2第1层卷积层，其特征映射图的总数设置为64个，卷积核的尺度设置为5×5个节点，步长为2，激活函数为lrelu函数；第2层卷积层，其特征映射图的总数设置为128个，卷积核的尺度设置为3×3个节点，步长为2，激活函数为lrelu函数；第3层卷积层，其特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点，步长为2，激活函数为lrelu函数；第4层卷积层，其特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点，步长为2，激活函数为lrelu函数；第5层全连接层，其特征映射图的总数设置为11个。5.根据权利要求1所述的方法，其中(3)中生成器网络，由1层全连接层和4层卷积层组成，各层参数如下：第一层全连接层，其特征映射图的总数设置为256个；第二层卷积层，其特征映射图的总数设置为256个，卷积核的尺度设置为5×5个节点，步长为2，激活函数为relu函数；第三层卷积层，其特征映射图的总数设置为128个，卷积核的尺度设置为5×5个节点，步长为2，激活函数为relu函数；第四层卷积层，其特征映射图的总数设置为64个，卷积核的尺度设置为5×5个节点，步长为2，激活函数为relu函数；第五层卷积层，其特征映射图的总数设置为1个，卷积核的尺度设置为1×1个节点，步长为1，激活函数为relu函数。6.根据权利要求1所述的方法，其中(3)中辅助分类器，其结构与判别器网络相同，用于在数据样本的分类任务中将K类数据的分类任务扩展为K+1类数据分类任务，其中第K+1类数据是生成器网络生成的虚假图像。7.根据权利要求1所述的方法，其中(4d)中计算每一次迭代训练后生成器网络权值，通过如下公式进行：Ez～P(z)log(1-D(G(z)))，其中，Ez～P(z)表示样本服从某一分布的数学期望值，z表示服从某一分布的噪声向量，P(z)表示服从某一分布的噪声概率密度函数，D(G(z))表示判别器网络对于生成器网络生成图像的判别概率值，G(z)表示生成器网络生成的样本图像。8.根据权利要求1所述的方法，其中(4e)中计算判别器网络每个分类结果值与分类结果的真实值之间的误差值，实现步骤如下：(4e1)计算监督学习的损失函数值：其中，Ls表示监督学习的损失函数值，表示样本服从某一分布的数学期望值，x表示服从某一分布的真实样本向量，Pdata(x,y)表示服从某一分布的真实样本概率密度函数，y表示分类任务的类别数值，Pmodel(y|x,y＜K+1)表示K+1类分类概率模型。(4e2)计算无监督学习的损失函数值：权　利　要　求　书2/3页3CN110097103A3其中，Luns表示无监督学习的损失函数值，表示真实样本服从某一分布的数学期望值，x表示服从某一分布的真实样本向量，Pmodel(y＝K+1|x)表示服从某一分布的概率密度模型，Ez～noise表示表示虚假样本服从某一分布的数学期望值，z表示服从某一分布的噪声向量；(4e3)根据(4e1)和(4e2)的结果，计算判别器网络的误差值Lloss：Lloss＝Luns+Ls。权　利　要　求　书3/3页4CN110097103A4基于生成对抗网络的半监督图像分类方法技术领域[0001]本发明属于图像处理技术领域，更进一步涉及一种半监督图像分类方法，可用于实际场景中目标分类。背景技术[0002]图像分类的主要任务是可以实现对输入的图像中的目标进行类别的检测，进而准确的确定目标所属于的类别。随着人们对计算机视觉领域的不断深入认识，图像分类在该领域得到广泛应用和发展，目前已经存在大量的分类算法来实现图像分类。对于带标签的基于监督学习的图像分类任务已经发展的较为成熟，能够在标准数据集上获得较好的分类精度，但在实际的应用场景中，网络的训练数据集并不容易获取，例如在医疗诊断方面，数据样本的获取就比较困难，其次要获得精准标注的图像就需要有经验的专家进行标注，这样会耗费巨大的时间成本和人力成本。监督学习本身需要大量的具有精确标注的训练数据，训练数据的数量和质量会直接影响到图像分类任务的分类精度，这就造成在难以获得训练样本的应用场景中监督学习无法取得较好的完成分类任务，少量标注的训练样本会导致过拟合现象。而半监督学习就适合在标注数据少，而训练数据多的场景下使用，在使用有限量标注数据的基础上可获得较好的训练效果，降低对标注数据的依赖程度，极大地丰富分类任务的应用场景。[0003]IanJ.Goodfellow，JeanPouget-Abadie，MehdiMirza，BingXu,David Ware-Farley,SherjilOzair,AaronCourville,YoshuaBengio在其发表的论文“GenerativeAdversarialNets”中公开了一种利用卷积神经网络提取图像特征的两阶段的图像生成与分类方法。该方法首先通过建立两个网络结构，分别为生成网络和判别网络，其中生成网络负责接受一个噪声向量，将其映射成一张虚假样本图像，将这张虚假样本图像和真实样本图像一起输入到判别器网络中，通过判别网络对真实样本和虚假样本进行真伪判定，利用分类概率将特征图进行分类。该方法虽然实现了对自然图像的分类，但是，该方法仍然存在的不足之处是，将真实图像和虚伪图像的图像特征在最后一层神经网络中提取，由于只进行无监督学习样本集没有足够精确的训练标签，导致无法精确找到类别边界，使得分类精度不够理想，不能满足实际目标分类的要求。[0004]西安电子科技大学在其申请的专利文献“基于生成对抗网络的极化SAR图像分类方法”(申请日：2017年08月25日，申请号：201710742716.2，公开号：107563428A)中公开了一种基于生成对抗网络的极化SAR图像分类方法。该方法使用待分类的极化合成孔径雷达SAR图像的相干矩阵作为输入，采用滤波窗口大小为7×7的李Lee滤波器，对相干矩阵进行滤波，得到去噪后的相干矩阵，从去噪后的相干矩阵中提取9维特征作为一个样本，将去噪后的相干矩阵中的所有样本生成一个样本集，从每个地物类的样本集中随机选取10％的样本作为有标签样本集，将每个地物类的样本集中剩余的90％样本作为无标签样本集训练生成网络和对抗网络。但是，该方法仍然需要10％的标记样本作为训练样本集对图像进行分类训练，虽然适用于SAR图像的分类，但是对医学图像，自然图像存在难以获取足够数量的说　明　书1/6页5CN110097103A5精确标注训练样本问题，大大限制了其应用范围。发明内容[0005]本发明的目的在于针对上述现有技术的不足，提出一种基于生成对抗网路的半监督图像分类方法，在判别器网络上增加一个辅助分类器网络以在只含有少量精确标记数据的训练样本分类中获得更好的分类精度。[0006]实现本发明目的的技术方案是：首先，采用标准图像分类数据集mnist手写数据集，但只对其中200个数据样本设置精确训练标签，再搭建一个生成对抗网络网络并设置每层参数，用训练数据集对生成对抗网络进行训练，得到训练好的基于生成对抗网络的半监督分类网络模型，最后将含目标的待检测图像输入到训练好的生成对抗网络模型中，提取目标特征的同时完成对目标类别的识别，其实现步骤包括如下：[0007](1)选取并下载图像分类标准训练样本集，并进行归一化操作；[0008](2)设定监督学习参数：即先针对归一化训练样本集设定监督学习的训练标签数量；再设定每一次网络训练的样本数量；然后通过标签数量和每次网络训练的样本数量设定监督学习的标志位；[0009](3)搭建一个由生成器网络、判别器网络和辅助分类器并列组成的生成对抗网络，其中，生成器网络设为4层，判别器网络设为5层，辅助分类器设为5层；[0010](4)对生成对抗网络进行训练：[0011](4a)将归一化后的训练样本集输入到生成对抗网络中的判别器网络，提取每个