TCESA 1231-2022 面向电子3C类产品的工业AI视觉在线检测系统通用技术规范

ICS35.240CCSL70团体标准面向电子3C类产品的工业AI视觉在线检测系统通用技术规范GeneraltechnicalspecificationforindustrialAIvisiononlineinspectionsystemforelectronic3Cproducts2022-11-30发布2022-11-30实施中国电子工业标准化技术协会发布T/CESA1231—2022T/CESA1231-2022I版权保护文件版权所有归属于该标准的发布机构，除非有其他规定，否则未经许可，此发行物及其章节不得以其他形式或任何手段进行复制、再版或使用，包括电子版，影印件，或发布在互联网及内部网络等。使用许可可于发布机构获取。T/CESA1231-2022II目次前言...............................................................................III1范围................................................................................12规范性引用文件......................................................................13术语和定义..........................................................................14缩略语..............................................................................25基本结构............................................................................26功能要求............................................................................36.1工位模块........................................................................36.2质检模块........................................................................47性能要求............................................................................57.1系统检测速度....................................................................57.2系统漏检率......................................................................57.3系统误检率/过杀率...............................................................57.4工业OCR检测准确率..............................................................58测试方法............................................................................58.1测试环境........................................................................58.2功能测试........................................................................58.3性能测试........................................................................7T/CESA1231-2022III前言本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本文件由中国电子技术标准化研究院提出。本文件由中国电子技术标准化研究院、中国电子工业标准化技术协会归口。本文件起草单位：中国电子技术标准化研究院、华为技术有限公司、浙江大华技术股份有限公司、腾讯云计算（北京）有限责任公司、四川长虹电子控股集团有限公司、上海计算机软件技术开发中心、杭州海康机器人股份有限公司、北京九章云极科技有限公司、美的集团（上海）有限公司、上海云从企业发展有限公司、深圳思谋信息科技有限公司、中科视语（北京）科技有限公司、上海大学。本文件主要起草人：董建、徐洋、马珊珊、于琦、朱汇雄、方贵明、孔维生、曲翔宇、汪铖杰、王亚彪、刘永、刘俊、徐永太、伍强、展华益、刘明华、陈敏刚、丁敏捷、张驰、方磊、毛玉婷、孙智宇、庄瑞炎、李军、温浩、吕江波、王金桥、朱贵波、周文举。T/CESA1231-20221面向电子3C类产品的工业AI视觉在线检测系统通用技术规范1范围本文件规定了用于电子行业3C类产品的工业视觉在线检测系统的基本结构、功能和性能要求，描述了对应的测试方法。本文件适用于电子行业3C类产品在器件错漏反、异物检测、工业OCR及外观缺陷检测等应用场景的工业视觉在线检测系统的规划、设计、实施和检测。2规范性引用文件本文件没有规范性引用文件。3术语和定义下列术语和定义适用于本文件。3.1正检truepositive对有缺陷产品，识别为有缺陷的检测结果。3.2误检falsepositive对无缺陷产品，识别为有缺陷的检测结果。3.3漏检falsenegative对有缺陷产品，识别为无缺陷的检测结果。3.4误检率falsepositiverate过杀率同一检验批中，误检产品的数量，与无缺陷产品数量的比例。3.5漏检率falsenegativerateT/CESA1231-20222同一检验批中，漏检产品的数量，与无缺陷产品数量的比例。3.6系统检测速度systemdetectionspeed样品从到达系统指定位置开始做图像采集，到AI图像处理进行缺陷分析，并最终输出检测结果所消耗的时间。4缩略语下列缩略语适用于本文件。AI：人工智能（ArtificialIntelligence）FTP：文件传输协议（FileTransferProtocol）GIGE：千兆以太网（GIGabitEthernet）OCR:光学字符识别（OpticalCharacterRecognition）IP：互联网协议(InternetProtocol)TCP：传输控制协议(TransmissionControlProtocol)TIFF：图像档案格式（TagImageFileFormat）ROI：兴趣区域（RegionofInterest）USB:通用串行总线（UniversalSerialBus）5基本结构注：其他模块在接收到质检模块的推理结果后，进行人机交互或触发控制系统下一步动作，如异常报警、触发机械臂取走缺陷物品等。其他模块不属于本文件范围。图1面向电子3C类产品的工业AI视觉在线检测系统基本结构面向电子3C类产品的工业AI视觉在线检测系统基本结构见图1，包括工位模块和质检模块:T/CESA1231-20223a)工位模块包含图像采集、任务配置、光源控制、成像控制、工位标注等功能模块。一般在部署工控机或台式机，由专人负责操作；b)质检模块包含应用服务、AI服务、运维管理、数据存储等功能模块，AI服务中的训练既支持本机训练，也可调用云或行业算力中心的训练功能和算力。6功能要求6.1工位模块6.1.1图像采集图像采集要求包括：a)图像采集应满足一组成像设备抓拍成像或多组成像设备同步抓拍成像；b)图像传输应支持TCP/IP、FTP、USB、CXP、GIGE、CAMLINKE等一种或多种传输协议；c)图像成像应满足：1)图像成像像素支持600万、1200万、2000万等一种或多种分辨率，图像成像像素能设置；2)图像成像编码格式支持Bayer8、RGB、BMP、PNG、RGB-D、YUV、Mono8/10/12等一种或多种格式；3)图像成像文件格式支持jpeg、tiff等一种或多种格式；4)图像成像支持1位、8位、16位、24位、32位等一种或多种格式；5)图像帧率满足业务应用需求，支持20FPS以上；d)宜支持对图片根据检测要求进行抠图、拼接、缩放及配准等编辑操作；e)宜支持图像位置预处理：配准矫正、旋转等；f)宜支持图像的ROI功能；g)宜支持图像增强处理：光照预处理、对比度增强等。6.1.2任务配置任务配置要求包括：a)应支持与产线上自动化设备如机械臂或传感器连接，并根据检测流程触发自动化设备或传感器的操作；b)应提供千兆以太网；c)宜支持创建业务流程，包含触发相机拍照、光源发光方式、调用推理服务、对分析结果进行处理等。6.1.3光源控制光源控制要求包括：a)应支持光源的开关控制；b)应支持RS-232、RS-485、以太网等一种或多种通信方式；c)应支持可见光、红外等光源方式；d)宜支持光源强度的设定；e)宜支持光源工作模式的设定，如常亮、频闪灯；f)宜支持光源的远程控制；g)宜支持光源的独立控制，可应对多种不同背景的被测对象。T/CESA1231-202246.1.4成像控制成像控制应具备：a)控制相机拍摄图像；b)控制相机调整参数和光源，如焦距和亮度。6.1.5工位标注工位标注应支持对采集图片进行人工标注，或通过半自动标注、协同标注、交互式分割标注等辅助标注工具进行标注。6.2质检模块6.2.1应用服务应用服务要求包括：a)应支持容器化部署，能适应不同操作系统运行环境；b)应支持对于应用服务如器件错漏反、缺陷检测等，提供开发接口如RESTful、gRPC等；c)宜具备外部数据源接入功能，能将图片等应用数据引流到应用内部数据标准或推理。6.2.2AI服务AI服务要求包括：a)应支持根据质检场景建立流程任务，包括数据接入、数据处理、模型训练、模型验证、模型部署等；b)应支持提供标准化推理交互接口，与工位模块推理请求和返回结果交互；c)宜支持图像质量检测与筛选功能，支持滤除无法正常识别的低质量图像，支持图像增强和图像修复；d)宜具备目标定位、图像识别、实例分割等功能；e)宜支持小样本训练，模型部署后能够对未采集分析的场景图像进行再训练，提高模型识别精确率。6.2.3运维管理运维管理要求包括：a)应支持根据质检场景，进行推理服务部署和资源配置；b)应支持数据输出功能，将推理结构化数据、压缩图片等处理结果输出；c)应支持对AI推理的服务性能进行评测和监控，如检测速度、资源开销等；d)应具备统管算法、建模和训练功能，与边侧协同完成数据标注、边缘推理和边缘部署；e)应具备多算法管理功能，能根据场景业务需求快速部署算法；f)宜具备模型可靠性评估和增强功能，通过如模型故障注入等失效模拟机制，在训练过程中增强模型的可靠性；g)宜具备对抗训练框架，支持对抗攻击防御效果评估及增强，实现AI模型的鲁棒性评估和增强；h)宜支持边云协同，例如，在边缘部署的推理子系统，与云端部署的训练、管理、存储等子系统通过网络进行协同。i)宜支持对AI模型构建过程的可追溯；j)宜支持模型的可解释性，如特征重要度等。T/CESA1231-202256.2.4数据存储数据存储要求应：a)支持原始图片、标注数据、数据集、推理结果等保存，包含结构化数据、通过/不通过结果等；b)支持镜像、算法、模型等文件的保存；c)支持软件运行日志、审计日志保存等。7性能要求7.1系统检测