用3D技术解决机器视觉问题

用3D视觉技术解决机器视觉问题杨永勇3D产品线产品经理[e-mail]2014-6-18目录•使用3D技术的N个理由•3D技术如何实现-结构光三角测量法原理•3D解决方案•3D应用案例扇叶高速旋转平稳性测量–上下抖动表现在高度值发生变化选择3D的N个理由翘曲测量–PCB板两侧高度不一致选择3D的N个理由厚度测量–高度相减选择3D的N个理由测高度测深度测厚度平面度测体积共面性选择3D的N个理由测量受电弓磨损程度受电弓表面高度发生变化选择3D的N个理由•测量铁轨磨损、枕木、道钉缺失选择3D的N个理由成型轮胎侧面检测–检测局部突出或划痕–DOT码识别,OCR识别对比度较差，用2D相机不容易识别，需要高度分割。选择3D的N个理由•总之，传统的2D相机只能在X-Y平面进行测量，无法获得Z方向信息。•在机器视觉领域，当需要Z方向信息（即高度值）时，就需要考虑使用3D视觉。选择3D的N个理由单点每次只可以得到Z坐标单线每次只可以得到X和Z坐标立体面每次可以同时得到X、Y、Z坐标结构光三角测量法原理•将一条单线细激光光线投射到物体表面，由于物体表面高度变化，使得激光线发生了弯曲，根据这个线的变形，可以计算出精确的物体表面三维轮廓。结构光三角测量法原理-什么样的安装?-什么样的3D相机?-什么样的线激光?-什么样的镜头????结构光三角测量法关键参数需要已知如下信息:-物体大小（长，宽，高）-X，Y，Z方向精度要求-扫描速度-应用类型-材质XYZWLHmm/s结构光三角测量法关键参数什么样的安装方式?-标准方式-光线垂直打在物体表面，并垂直于扫描方向（Y方向）-轮廓上的点都有相同的Y坐标-dz=dx/sin(α)Sheet-Of-LightPlaneXYZScandirectionScandirectionα结构光三角测量法关键参数变化的安装方式:反向安装-优点:可增加高度分辨率dz=dx/tan(α)-缺点:轮廓上点的Y坐标不相同-适用于平面物体ScandirectionXYZSheet-Of-LightPlaneScandirectionα结构光三角测量法关键参数变化的安装方式:反射式安装或明场安装方式-优点:大大增加高度分辨率dz=dx*cos(β)/sin(α+β)-优点/缺点:由于直接反射，可增加物体的返光亮度-缺点:轮廓上点的Y坐标不相同-适用于返光不强的平面物体ScandirectionSheet-Of-LightPlaneXYZScandirectionαβ结构光三角测量法关键参数-优点:可减少直接光的反射-缺点:会降低高度分辨率dz=dx*cos(β)/sin(α-β)-适用于返光较强的平面物体ScandirectionSheet-Of-LightPlaneXYZ变化的安装方式:暗场安装方式Scandirectionαβ结构光三角测量法关键参数三角测量角α盲区:高度*tan(α)三角测量角较大的三角测量角:-更高的Z方向分辨率-更大的盲区例如:5mm高物体α=40度盲区(Ω)为4.2mmΩ结构光三角测量法关键参数Z-MRZ-MRFOV(nominal)X方向视野范围（FOV）&Z方向测量范围（MR）由于镜头的视角原因，会产生梯形的视野范围结构光三角测量法关键参数•均匀性–不好的均匀性会降低分辨率和精度•点稳定性–点稳定性受激光器本身的温度影响较大，不好的点稳定性会影响标定精度和系统精度y•准直度–弯曲的或者弓形的光线，会影响测量窗口大小•瞄准线–较差的瞄准线导致安装设备困难，增加系统误标定风险•功率稳定性–较差的功率稳定性会影响测量灵敏性，将不能使用固定的阈值方法，对于较低对比度的物体测量变得困难结构光三角测量法重要组件-激光器性能指标•均匀性•准直度•线宽•景深•扇角•场依赖聚焦(“蝴蝶结效应”)结构光三角测量法重要组件-激光器性能指标结构光特性80%ClipPointRIfloorIMinIMaxIAvg均匀性准直度WDD02wDMWDw2042WD=workingdistanceM2=MsquaredofdiodeD=Diameterofbeamoncollimator光斑大小景深结构光特性θWDWDθ扇角场依赖聚焦结构光特性不均匀性比较•竞争对手的激光线与StingRay比较–A–50mW660nm(竞争对手)–B–35mW660nm(StingRay)ABBLineAPlotLineBPlotA不均匀性比较高斯光束与非高斯光束3D解决方案+标定算法（使用Halcon在PC上实现）HALCON强大的3D处理功能，可以缩短开发时间，提高处理精度。3D解决方案-Halcon+标定算法（在SiliconSoftwareVD4卡上实现）FPGA3D解决方案3D解决方案-siliconsoftware卡VD4卡集成有板载FPGA,允许用户编写处理程序，从而减小PC机CPU负载。方案特点•1.分辨率可选（1K、2K、4K…），速度依赖于2D相机的帧率•2.可自由选择激光器波长和功率，可适应更多应用情况•3.Cameralink、千兆网、USB3.0、1394等接口可选•4.成本低廉•5.对技术人员的要求较高•6.需要设计牢固的安装支架3D解决方案–分体式3D相机3D解决方案–分体式3D相机相机内部集成FPGA，标定算法，数据处理等在相机内部实现。相机直接输出3D点云数据和灰度数据。减小无用数据输出，可得到2D相机无法实现的高帧率。3D解决方案–分体式3D相机相机内部集成多种算法，提高获取激光线轮廓线精度。3D解决方案–分体式3D相机可同时得到高度图和灰度图3D相机的标定镜头畸变校正数据标定利用特殊的标定板，在专门的软件上完成数据标定和镜头畸变校正。3D解决方案–分体式3D相机采用三斜率模式技术，增强图像动态相应范围，适应不同材质的测量。3D解决方案–分体式3D相机特殊的机械结构，增加测量景深，获得更大的量程•1.分辨率可选（1K、2K、4K）、有较高的扫描速度（最高72KHz）•2.可自由选择激光器波长和功率，可适应更多应用情况•3.内部集成标定算法，标定简单•4.千兆网接口，可远距离传输•5.3斜率方法可解决高动态响应问题，适用于不同材料的物体•6.特殊的机械结构，可获得大景深的图像•7.需要设计牢固的安装支架3D解决方案–分体式3D相机特点•出厂前完成标定，开箱即可测量•可直接输出3D点云数据•传感器上带有测量工具，可以快速得到测量结果•集成了丰富的协议，便于与下位机，如PLC、机械手等通讯3D解决方案–一体式3D传感器•距离测量•可测量高度、厚度、翘曲•可容易集成到设备中，做闭环控制•速度从10kHz到32kHz•精度最高可达微米级别•2M-3B激光等级可选•IP67防护外壳•多只组网方便，最多可24只组网位移传感器Gocator1100&1300系列位移传感器Gocator2000&2300系列轮廓传感器•激光轮廓测量•可同时得到X、Z坐标•Y方向运动，可得到3D点云图•VGA或百万像素分辨率•速度200Hz到5KHz•最大视野范围从18mm到1.2米•最大量程800毫米•2M-3B激光等级可选•IP67防护等级•多只组网方便，最多可24只组网轮廓传感器Gocator3000系列特点•世界上第一款3D智能扫描仪•可抓去到高密度3D点云图，速度可达到5Hz•光源使用蓝色LED光，而不是激光，对人眼安全•无需相对运动•基于双目和空间光调制（SLM）技术•提供各种测量工具，适用于汽车行业车身，间隙和车门等测量，无需PC参与Gocator特点激光和相机一体化，无需更多硬件安装和校准工作智能化通过Web即可访问，无需安装任何软件内置各种丰富的测量工具并实时输出测量结果以及反馈信号支持标准工业协议Modbus、EtherNet/IP和Profinet等独立一体式丰富的I/O接口可与现有的控制系统如PLC等直接通讯提供以太网、数字、模拟和串行数据接口外形紧凑小巧可方便的安装到各种空间有限的场合以及机械手臂上Gocator完成数据采集、处理和检测结果输出全部过程Gocator完成数据采集过程，客户端调用采集到的数据之后自行编写软件对数据处理后输出结果Gocator完成数据采集过程，客户端调用采集到的数据之后采用第三方视觉检测软件对数据处理后输出结果Gocator典型工作方式3D解决方案方案一：2D相机+镜头+激光器+3D标定算法方案二：3D相机+镜头+激光器方案三：一体式3D传感器3D测量方案优缺点比较比较项目方案一方案二方案三价格便宜适中贵标定难易程度复杂简单不需要标定，开箱即可使用安装方法复杂复杂简单开发速度很慢，取决于用户的开发水平简单简单灵活性强强差•机械手引导抓取工件•使用Gocator2370，在第三方软件处理•能适应工件各种倾斜状态•高温环境，需要增加空冷设备保护应用案例•金属钢管，长15米，直径0.4米•需要测量钢管直径、长度、平直度、弯曲度•还需要检测表面缺陷•多个sensor做整体3D扫描•需要第三方软件做3D分析应用案例•使用多只2370•高速扫描•通过Master多只同步应用案例•PCB板管脚是否缺失，或者短缺。使用1只Gocator2330，FOV：70mm，针脚高度：3mm，直径0.3mm，精度：0.03mm应用案例