基于卷积神经网络的宇航电源光学检测技术

书书书测控技术２０２０年第３９卷第３期数据采集与处理　收稿日期：２０１８－１２－２０作者简介：尤祥安（１９９０—），男，硕士，工程师，主要研究方向为高可靠功率变换、可再生燃料电池技术等；詹晓燕（１９８６—），女，硕士，工程师，主要研究方向为电子产品可靠性设计；飞景明（１９８８—），男，硕士，工程师，主要研究方向为电子产品高可靠封装工艺。引用格式：尤祥安，詹晓燕，飞景明，等．基于卷积神经网络的宇航电源光学检测技术［Ｊ］．测控技术，２０２０，３９（３）：９８－１０２．ＹＯＵＸＡ，ＺＨＡＮＸＹ，ＦＥＩＪＭ，ｅｔａｌ．ＯｐｔｉｃａｌＩｎｓｐｅｃｔｉｏｎＴｅｃｈｎｉｑｕｅＢａｓｅｄｏｎＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｆｏｒＳｐａｃｅＰｏｗｅｒＳｕｐｐｌｙ［Ｊ］．Ｍｅａｓｕｒｅｍｅｎｔ＆ＣｏｎｔｒｏｌＴｅｃｈｎｏｌｏｇｙ，２０２０，３９（３）：９８－１０２．基于卷积神经网络的宇航电源光学检测技术尤祥安，詹晓燕，飞景明，陈　滔，高伟娜，王　君（中国航天北京卫星制造厂有限公司，北京　１０００９４）摘要：传统自动光学检测（ＡＯＩ）方法难以适应宇航电源生产线多品种、小批量的特点，具有识别率低、操作复杂等问题。利用卷积神经网络（ＣＮＮ）学习速度快、特征提取效果好的优势，提出了一种能够对宇航电源产品质量进行可靠检验的光学检测技术。通过对历史生产数据的精细化筛选构建了训练样本库，并设计了宇航电源产品光学检验专用卷积神经网络；将Ｃａｎｎｙ算子边缘检测与ＣＮＮ图像识别相结合，实现了印制板装配图信息的自动读取。与传统ＡＯＩ检测方法相比，该方法缺陷识别率高达９９％，且检验过程简单，提高了宇航电源产品光学检验工作效率，已应用于宇航电源生产线。关键词：卷积神经网络；宇航电源；图像识别；自动光学检测中图分类号：ＴＰ２１６　　文献标识码：Ａ　　文章编号：１０００－８８２９（２０２０）０３－００９８－０５ｄｏｉ：１０．１９７０８／ｊ．ｃｋｊｓ．２０２０．０３．０１７ＯｐｔｉｃａｌＩｎｓｐｅｃｔｉｏｎＴｅｃｈｎｉｑｕｅＢａｓｅｄｏｎＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｆｏｒＳｐａｃｅＰｏｗｅｒＳｕｐｐｌｙＹＯＵＸｉａｎｇａｎ牞ＺＨＡＮＸｉａｏｙａｎ牞ＦＥＩＪｉｎｇｍｉｎｇ牞ＣＨＥＮＴａｏ牞ＧＡＯＷｅｉｎａ牞ＷＡＮＧＪｕｎ牗ＢｅｉｊｉｎｇＳｐａｃｅｃｒａｆｔｓＬｉｍｉｔｅｄＣｏｍｐａｎｙ牞Ｂｅｉｊｉｎｇ１０００９４牞Ｃｈｉｎａ牘Ａｂｓｔｒａｃｔ牶Ｔｈｅｃｏｎｖｅｎｔｉｏｎａｌａｕｔｏｍａｔｅｄｏｐｔｉｃａｌｉｎｓｐｅｃｔｉｏｎ牗ＡＯＩ牘ｍｅｔｈｏｄｓａｒｅｉｎｃｏｍｐａｔｉｂｌｅｗｉｔｈｔｈｅｍａｓｓｐｒｏｄｕｃｔｉｏｎｏｆｓｐａｃｅｐｏｗｅｒｓｕｐｐｌｙｍａｎｕｆａｃｔｕｒｉｎｇ牞ｗｈｉｃｈｉｓｆｅａｔｕｒｅｄｂｙｍｕｌｔｉｖａｒｉｅｔｙｐｒｏｄｕｃｔａｎｄｓｍａｌｌｂａｔｃｈ牞ｌｉｍｉｔｅｄｂｙｃｏｍｐｌｉｃａｔｅｄｏｐｅｒａｔｉｏｎｓａｎｄｌｏｗｒｅｃｏｇｎｉｔｉｏｎｒａｔｅ．Ｗｉｔｈｔｈｅａｄｖａｎｔａｇｅｓｏｆｆａｓｔｌｅａｒｎｉｎｇｓｐｅｅｄａｎｄｇｏｏｄｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｏｆｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ牗ＣＮＮ牘牞ａｎｉｎｔｅｌｌｉｇｅｎｔｏｐｔｉｃａｌｉｎｓｐｅｃｔｉｏｎｔｅｃｈｎｉｑｕｅｓｕｉｔａｂｌｅｆｏｒｓｐａｃｅｐｏｗｅｒｓｕｐｐｌｙｍａｎｕｆａｃｔｕｒｉｎｇｉｓｐｒｅｓｅｎｔｅｄ．Ｔｈｅｔｒａｉｎｉｎｇｓａｍｐｌｅｓｗｅｒｅｃａｒｅｆｕｌｌｙｃｏｎｓｔｒｕｃｔｅｄｕｓｉｎｇｈｉｓｔｏｒｉｃａｌｐｒｏｄｕｃｔｉｏｎｄａｔａ牞ａｎｄａｄｅｅｐｒｅｃｏｇｎｉｔｉｏｎｎｅｔｗｏｒｋｓｐｅｃｉａｌｉｚｅｄｆｏｒｔｈｅｄｅｔｅｃｔｉｏｎｏｆｓｐａｃｅｐｏｗｅｒｓｕｐｐｌｉｅｓｗａｓｄｅｓｉｇｎｅｄ．ＣｏｍｂｉｎｉｎｇＣａｎｎｙｏｐｅｒａｔｏｒｅｄｇｅｄｅｔｅｃｔｉｏｎｗｉｔｈＣＮＮｉｍａｇｅｒｅｃｏｇｎｉｔｉｏｎ牞ｔｈｅａｕｔｏｍａｔｉｃｒｅａｄｉｎｇｏｆＰＣＢａｓｓｅｍｂｌｙｄｒａｗｉｎｇｉｎｆｏｒｍａｔｉｏｎｗａｓｒｅａｌｉｚｅｄ．ＣｏｍｐａｒｅｄｗｉｔｈｔｈｅｔｒａｄｉｔｉｏｎａｌＡＯＩｍｅｔｈｏｄｓ牞ｔｈｅｐｒｏｐｏｓｅｄａｌｇｏｒｉｔｈｍｉｍｐｒｏｖｅｔｈｅｏｐｔｉｃａｌｉｎｓｐｅｃｔｉｏｎｅｆｆｉｃｉｅｎｃｙｏｆａｅｒｏｓｐａｃｅｐｏｗｅｒｐｒｏｄｕｃｔｓａｎｄｔｈｅｄｅｆｅｃｔｉｄｅｎｔｉｆｉｃａｔｉｏｎｒａｔｅｉｓｕｐｔｏ９９％牞ｔｈｅｉｎｓｐｅｃｔｉｏｎｐｒｏｃｅｓｓｉｓｓｉｍｐｌｅ牞ａｎｄｉｔｈａｓｂｅｅｎａｐｐｌｉｅｄｔｏｔｈｅｓｐａｃｅｐｏｗｅｒｓｕｐｐｌｙｍａｎｕｆａｃｔｕｒｉｎｇ．Ｋｅｙｗｏｒｄｓ牶ＣＮＮ牷ｓｐａｃｅｐｏｗｅｒｓｕｐｐｌｙ牷ｉｍａｇｅｒｅｃｏｇｎｉｔｉｏｎ牷ＡＯＩ　　宇航电源产品是航天器平台、载荷系统中的关键部件，电源产品的质量直接影响着卫星在轨寿命与载荷性能，因此航天器对宇航电源的可靠性、一致性有着高于其他电子产品的质量要求［１－２］。随着航天技术的飞速发展，宇航电源产品不断向小型化、标准化发展，并逐渐形成了多品种、小批量的生产特点［３］。近年·８９·来，基于边缘检测、特征提取等算法的自动光学检测（ＡｕｔｏｍａｔｅｄＯｐｔｉｃａｌＩｎｓｐｅｃｔｉｏｎ，ＡＯＩ）技术的使用大大提高了宇航电源产品转序前的故障检出率，有效提高了产品质量［４－１０］。文献［５］阐述了传统ＡＯＩ检测项目与流程；文献［７］采用模式匹配算法实现了９６．５％的不良焊点检出率；文献［９］采用基于Ｆｉｓｈｅｒ值的人工神经网络算法，实现了印制板表贴元件快速ＡＯＩ。然而，由于传统ＡＯＩ设备面向大批量生产设计，测试准备环节复杂，对操作人员素质要求较高，对宇航电源生产效率的提升效果有限。本文针对宇航电源产品自动光学检验问题展开研究，以期在简化操作的同时将识别率提高至９７％以上。结合具体生产实践，采用基于卷积神经网络的图像识别算法改进传统ＡＯＩ检测技术，探索出一种适用于多品种、小批量宇航电源产品质量检验的光学检测方法。该方法不仅具备检出率高的特点，还具有操作简单、测试准备时间短的优势，已逐步在宇航型号产品生产中推广应用。１　基于卷积神经网络的光学检测算法１．１　宇航电源产品光学检测需求宇航电源产品转序或出厂前均需对板级元件装配质量进行光学检测，及时发现错焊、漏焊以及损伤元件的问题，其中电阻器、陶瓷电容器、钽电容器、二极管以及集成电路芯片等元件的检测工作量大，通常采用ＡＯＩ检测设备进行。传统ＡＯＩ设备针对大批量生产模式设计，检测前编程策略复杂，且要求操作人员具备一定的图像识别理论基础。因此，传统ＡＯＩ检测方法对小批量、多品种的宇航电源生产效率提升极为有限。神经网络是由多个感知器单元构成的智能化算法［１１］，已在语音识别、图像识别、自动驾驶等多个领域得到了广泛应用［１２－１７］。目前已有ＡＯＩ设备厂商将传统径向基函数（ＲａｄｉｃａｌＢａｓｉｓＦｕｎｃｔｉｏｎ，ＲＢＦ）神经网络技术应用在ＰＣＢ光学检验系统中［１８］。与传统人工神经网络相比，卷积神经网络（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ，ＣＮＮ）是一种特征提取能力强、收敛速度快的图像识别算法，以Ａｌｅｘｎｅｔ［１３］、ＶｇｇＮｅｔ［１４］、ＧｏｏｇｌｅＮｅｔ［１５］以及ＲｅｓＮｅｔ［１９］等算法为代表的图像识别技术已具备极强的特征辨识能力，可以利用ＣＮＮ技术设计出操作简单、检出率高的印制电路板光学检测算法，使之适应宇航电源生产线多品种、小批量、高可靠的检测需求。１．２　算法总体架构卷积神经网络以固定分辨率的图像作为输入，若直接将电路板图像输入神经网络易使故障细节淹没，导致检出率低。传统光学检测方法利用局部成像设备，结合元件坐标信息对板级元件逐一筛查。为提高检测效率与识别率，可在传统检测方法基础上，使用卷积神经网络代替传统图像识别算法，不仅能够简化神经网络结构，还可达到较高的故障检出率。此外，卷积神经网络根据图形特征实现图像分类，因此在设计训练样本库时需要根据元件类型、故障特征对神经网络输出类别进行精细划分。基于卷积神经网络的宇航电源产品光学检测算法架构如图１所示。为避免复杂编程操作，检测算法以图像作为输入自动完成测试准备工作；检测过程可分为图像预处理与损伤类型诊断两个环节，其中预处理环节自动读取装配图信息，可代替传统设备的坐标输入及测试编程；损伤类型诊断环节使用卷积神经网络对元件子图逐一筛查，判定相应元件是否满足设计、工艺要求；最后，根据用户需要以图像的形式输出光学检测结果。图１　检测算法总体架构２　基于Ｃａｎｎｙ算子的检测图像预处理２．１　装配图信息提取使用传统ＡＯＩ设备检测时不仅要对待测产品、元件进行编程录入，建立元件库，还需要根据待测元件特征进行测试编程与效果验证，这种测试准备过程不适合多品种、小批量的宇航电源生产。利用Ｃａｎｎｙ算子的边缘检测特性能够使检测系统自动录入装配图信息，可省去测试前对产品、元件库的复杂编程操作。Ｃａｎｎｙ算子首先利用高斯滤波器对装配图文件进行平滑滤波，若设滤波器核尺寸为（２ｋ＋１）２，则掩模中各点系数由式（１）计算：Ｈ（ｉ，ｊ）＝１２πσ２ｅｘｐ（－［ｉ－（ｋ＋１）］２＋［ｊ－（ｋ＋１）］２２σ２）（１）滤波前需要对式（１）所得系数矩阵进行归一化：Ｈｎｏｒｍ＝Ｈ∑ｉ∑ｊＨ（ｉ，ｊ）（２）使用归一化的滤波器掩模Ｈｎｏｒｍ对输入图像Ｉ进行滤波：Ｉｆｉｌｔ＝ＩＨｎｏｒｍ（３）再使用Ｓｏｂｅｌ算子对滤波后的装配图Ｉｆｉｌｔ执行梯度运算：Ｇ（ｉ，ｊ）＝Ｇｘ（ｉ，ｊ）２＋Ｇｙ（ｉ，ｊ）槡２（４）·９９·基于卷积神经网络的宇航电源光学检测技术σ（ｉ，ｊ）＝ａｒｃｔａｎ［Ｇｙ（ｉ，ｊ）／Ｇｘ（ｉ，ｊ）］（５）式中，Ｇ为梯度强度矩阵；σ为梯度方向矩阵。设不同方向的Ｓｏｂｅｌ算子为Ｓｘ、Ｓｙ，则沿ｘ与ｙ方向的梯度分量为Ｇｘ＝ＳｘＩｆｉｌｔ（６）Ｇｙ＝ＳｙＩｆｉｌｔ（７）完成梯度计算后，需要对图像梯度矩阵进行非极大值抑制，若某一像素点处梯度为邻近像素点中的最大值，则保留该像素点作为边缘点，否则剔除该点。输入的装配图经Ｃａｎｎｙ算子处理后得到印制板元件的坐标信息，依据坐标信息可截取元件子图并作为后续图像处理的输入。２．２　可辨识元件图像提取实物图像预处理的目的是从印制板实物图像中提取出可作为神经网络输入的元件实物子图。子图获取的原理与读取装配图的原理类似，即根据Ｃａｎｎｙ算子获取的元件坐标信息进行截取。虽然装配图分辨率与实物图分辨率在一般情况下存在差异，但可通过仿射变换，将装配图坐标映射到实物图。算法根据仿射后坐标截取元件实物图像并作为后续图像处理的输入。对实物图像的预处理采用三点对齐的方式进行仿射变换。操作者使用鼠标点选印制板图像的３个对角点，算法通过求解下列方程得到坐标变换矩阵：ｘ′[]ｙ′＝ｃｏｓθｘｓｉｎθｙ－ｓｉｎθｘｃｏｓθ[]ｙ[]ｘｙ＋ｔｘｔ[]ｙ（８）式中，（ｘ，ｙ）为装配图坐标；（ｘ′，ｙ′）为印制板实物图坐标；（ｔｘ，ｔｙ）为平移量；θｉ为旋转角。３　深度卷积神经网络设计３．１　卷积神经网络结构卷积神经网络由数据输入层、卷积计算层、ＲｅＬＵ（ＲｅｃｔｉｆｉｅｄＬｉｎｅａｒＵｎｉｔ）激励层、池化层、全连接层以及输出层构成，卷积与池化的作用是完成对象特征的提取。利用卷积计算的降维特性降低传统神经网络的权值数量，设经输入层感知所得ＲＧＢ图像为Ｉ，卷积核为Ｋ，则卷积层对图像的特征映射可表示为［１８］Ｓ（ｉ，ｊ，ｋ）＝∑ｍ∑ｎＩ（ｉ－ｍ，ｊ－ｎ，ｋ）Ｋ（ｍ，ｎ，ｋ）（９）式中，Ｓ为卷积层输出矩阵；ｋ为ＲＧＢ通道序号。卷积神经网络使用ＲｅＬＵ函数替代传统Ｓｉｇｍｏｉｄ函数提高权值收敛速度，激励函数可表示为ｆ（ｘ）＝ｍａｘ（Ｏ，ｗＴｘ＋θ）（１０）卷积神经网络利用池化层的特征不变性进行数据降维与特征提取，降低过拟合风险。全连接层结构与传统神经网络相同，用于进行特征综合，根据传递的对象特征完成归类。针对宇航电源产品光学检验问题，采用图２所示的卷积神经网络结构进行