《智能网联汽车技术概论》课件---第二章-视觉传感器在智能网联汽车中的应用

No.10008授课教师：智能网联汽车技术概述◣第二章视觉传感器在智能网联汽车中的应用No.10008目录第一章-智能网联汽车技术综述第二章-视觉传感器在智能网联汽车中的应用第三章-雷达在智能网联汽车中的应用第四章-高精度定位与导航系统第五章-智能网联汽车路径规划与决策控制第六章-汽车总线及车载网络技术第七章-智能网联汽车通信技术第八章-ADAS与智能网联汽车的应用第九章-智能网联汽车的操作系统与应用平台简介No.10008学习目标1熟悉视觉传感器的种类2了解单目视觉传感器的原理和特点3了解双目视觉传感器的原理和特点4了解红外夜视视觉传感器的原理和特点5了解智能网联汽车领域中的图像处理方法及应用6熟悉视觉传感器在智能网联汽车中的应用No.10008•视觉传感器种类与原理01No.10008视觉传感器的基本认识•1.车载摄像头的功能•请说说智能网联汽车上的摄像头各有什么功能？•单目传感器的工作原理是先识别后测距，首先通过图像匹配对图像进行识别，然后根据图像的大小和高度进一步估计障碍物和车辆移动时间。•双目视觉传感器的工作原理是先对物体与本车辆距离进行测量，然后再对物体进行识别。•由于夜间可见光成像的信噪比较低，从而导致视觉传感器夜间成像的难度增大，而远红外系统在这个时候就能发挥自身独特的优势。No.10008视觉传感器的基本认识•图像传感器又称成像装置或摄像装置，请说说原理是什么？•图像传感器是摄像头的重要组成部分，可以检测可见光、紫外线、X射线、近红外光等，实现视觉功能的信息采集、转换和扩展，提供视觉、真实、多级、多内容的视觉图像信息。No.10008视觉传感器的基本认识•CCD图像传感器可分为两类：一类用于获取线阵图像，称为线阵CCD；另一类用于获取表面图像，称为面阵CCD。•请说说各有什么特点？•请说说涂在CCD表面的硅半导体光敏元件的主要作用是什么？线阵CCD面阵CCD线阵CCD面阵CCDNo.10008视觉传感器的基本认识•汽车ADAS摄像头作用有哪些？操控方式预警功能控制功能横向车道偏离警告车道保持功能纵向前车碰撞警告紧急刹车功能行人碰撞警告--自适应巡航No.10008视觉传感器的基本认识•请说说根据汽车摄像头模块的不同分为哪几种摄像头？•根据汽车摄像头模块的不同，目前使用的摄像头分为单目摄像头、双目摄像头和红外摄像头。•为了完成ADAS任务，视觉规划通常需要测量车辆与前方障碍物之间的距离并识别障碍物，除了单目与双目，还有多个摄像头平台。•考虑到周围环境和远距离目标检测，还有一些情况下使用远摄和广角摄像头来匹配ADAS主摄像头，ADAS功能叠加在观察平台上。No.10008单目视觉传感器的原理和特点•请说说单目传感器的工作原理是什么？•目前的ADAS可识别40米～120米的范围，未来将达到200米或更多。单目摄像头的视角越宽，可以检测到的精确距离长度越短，视角越窄，检测到的距离越长。No.10008单目视觉传感器的原理和特点•（2）双目摄像头•请说说双目摄像头的工作原理是什么？•双目望远镜在20米范围内具有明显的测距优势，在20米以外，很难缩小视差的范围。采用高像素摄像头和较好的算法可以提高测距性能，双目摄像头间距越小，测距镜头之间的距离越近，探测距离越大，镜头间距越大，探测距离越远。No.10008单目视觉传感器的原理和特点•智能网联汽车传感系统是一个多传感器的复杂系统。使用单目摄像头是一种很好的方法，但是单目摄像头依赖大量训练样本、特征提取过程难以观测和调整等。由于传感器的物理特性，摄像头测距精度远低于激光雷达和多普勒雷达。因此在实际应用中，需要结合激光雷达和多普勒雷达等其他传感器进行探测，这些传感器在各自的约束条件下能够发挥各自最优的性能，各类传感器的融合将大大提高目标检测的精度。No.10008单目视觉传感器的原理和特点•单一的摄像头由于镜头角度、探测范围和精度有所不同，在实际应用中也经•常采用组合的单目摄像头来实现不同的环境检测：•①长焦摄像头和短焦摄像头组合的方式，提供远距离精确探测和近距离大探测范围的综合检测；•②四个鱼眼摄像头分别布置在车辆的前后左右，通过图像拼接提供环视功能。No.10008双目视觉传感器的原理和特点•请说说双目仿生学原理。No.10008双目视觉传感器的原理和特点•双目摄像头的优点有哪些？•双目摄像头可以在不识别目标的情况下获得深度距离数据。•从理论上讲，立体摄像头的误差可以小于1%，特别是在单目摄像头配备毫米波雷达等传感器后，可以达到类似的精度，可以满足L1、L2和部分L3场景的功能要求。No.10008双目视觉传感器的原理和特点•请说说双目视觉系统在应用上有哪些不足？•争对双目视觉系统的不足，通常采用哪些技术来补充？No.10008红外夜视视觉传感器的原理和特点•请说说电磁波的特征有哪些？•基于红外热成像原理，通过能够透过红外辐射的红外光学系统，将视场内景物的红外辐射聚焦到红外探测器上，红外探测器再将强弱不等的辐射信号转换成相应的电信号，然后经过放大和视频处理，形成可供人眼观察的视频图像。No.10008红外夜视视觉传感器的原理和特点•红外夜视可以分为主动和被动两种类型。请说说这两种红外夜视类型有什么不同？•红外夜视系统是视觉传感器一个独特的分支，图像处理算法在处理远红外夜视图像过程中依然能够发挥作用，因此红外夜视系统能够像可见光摄像头一样，获取环境中的目标大小和距离等信息，对光照不足条件下对基于可见光的视觉传感器的应用是一种有效补充。No.10008多个视觉传感器的组合应用•在汽车智能驾驶中，通过不同焦距和不同仰角的多个单目摄像头，可以获得不同位置的交通标志、信号灯和各种道路标志的检测和识别能力。•例如，在长焦摄像头的成像中，100米处的交通灯足够大，100米处的交通标志上的数字也清晰可见。而在短焦距摄像头的成像中，100米处的交通标志上的数字是完全不清楚的，但是却能够获得近距离更广范围的环境信息。•因此多个单目视觉传感器的组合方案在智能网联汽车领域也得到了广泛的应用。No.10008多个视觉传感器的组合应用•三目摄像头的划分为25°视场、50°视场、150°视场，25°视场用于检测前车道线、交通灯，50°视场负责一般的道路状况监测，150°视场用于检测平行车道、行人和非机动车行驶的状况。•仅仅通过环视或二维视觉很难满足L3或L3以上的需求，对多维立体视觉的需求会越来越突出。•在汽车智能驾驶中，通过不同焦距和不同仰角的摄像头，可以获得不同位置的交通标志、信号灯和各种道路标志的检测和识别能力。No.10008•智能网联汽车领域图像处理方法02No.10008计算机视觉技术原理•智能网联汽车中使用的图像处理方法算法主要来源于计算机视觉中的图像处理技术。图像输入预处理特征提取特征分类匹配完全识别车牌道路边界车道线交通信号交通标志车辆/行人自由行驶空间计算机视觉识别流程交通识别信息No.10008•视觉传感器将通过数字化的图像对环境信息编码，编码的目的是使信息可以被计算机处理。典型的图像编码格式有灰度、RGB、CMYK等，根据颜色编码、图像属性、分辨率、压缩方式等特征，一些标准的图像格式如BMP、JPG（JPEG）、PNG、TIF、GIF、PCX、TGA、EXIF、FXP等被定义，用于标准化和结构化图像的存储，以及在网络、各类操作系统和算法中的传播与使用图像。•参考右图请说说如何使用RGB编码格式实现图像采集和编码的过程？No.10008•智能网联汽车中涉及的图像处理算法就是在结构化的图像信息提取其中包含的环境特征。机器视觉算法的基本步骤包含图像数据的解码、图像特征的提取、识别图像中的目标。图像处理算法包括传统的机器视觉，以及基于人工神经网络的深度学习等技术。•请说说图像特征的提取的原理是什么？No.10008•人工特征有直观、可分析等优势，在图像识别领域得到了广泛的应用。典型的人工图像特征有：SIFT特征、HOG特征、Haar-like特征等。•请说说SIFT特征、HOG特征、Haar-like特征各有哪些特征？•在实际应用中，还需要考虑相关算法的计算效率和特征描述的普适性等，所以一些评价特征的性能指标被提出来，如：特征对旋转、尺度缩放、亮度变化的不变性，特征对视角变化、仿射变换、噪声的稳定性；另外在实际应用中，根据特征点提取方法和特征点描述方法的不同，又有满足各类不同功能、性能要求的特征提取方法被细分，如SIFT、SURF、FAST、HOG、ORB、LBP等。No.10008•随着人工神经网络的发展和图像识别等相关数据集容量的不断增加、GPU等并行数据处理芯片的广泛应用，使得多层神经网络训练并提取特征成为可能，神经网络逐层提取图像矩阵中的数学特征、层间递进地组合为全局特征、最终实现面向计算的特征提取。•多层神经网络前端网络层本质上是计算边缘梯度和其他简单的操作，类似人工特征的设计；后端网络层将局部模式组合成更全局的模式。•请说说卷积神经网络提取图像特征实现视觉识别的基本原理是什么？原始图像层次化的特征学习（即网络参数确定）根据图像中的特征，识别目标No.10008•1.车道检测•车道由圆弧、直线、与曲线构成，缓和曲线由不同曲率（例如螺旋曲线）的圆弧连接过渡段或直线连接过渡段，车道与路面车辆的几何模型元素包括车道曲率、弧长、偏航角等。•基于视觉的车道检测的方法有哪些？No.10008•请说说基于霍夫变换的车道线检测的原理是什么？•请问什么是基于仿射变换的车道线检测？•什么是基于边缘点拟合的车道线检测？No.10008•请说说车道线跟踪的原理是什么？No.10008•2.语义分割•语义分割是指图像处理算法试图从语义上理解图像中每个像素的角色，该物体是汽车还是其他分类的物体，除了识别人、路、车、树等，我们还必须确定每个物体的边缘，需要使用语义分割模型来对物体做出像素级的分割，并通过语义形式提供物体的特征和位置等信息。No.10008•语义分割是无人车驾驶的核心算法技术，车载摄像头，或者激光雷达探查到图像后输入到神经网络中，后台计算机可以自动将图像分割归类，以避让行人和车辆等障碍。No.10008•语义分割的原理•原始图像经过深度学习网络进行逐层特征提取、像素级分割、特征识别、语义标注等过程，实现对图像中各类目标的识别、分类、语义信息标注，为智能网联汽车更丰富功能的实现，提供更多、更全面的环境信息。No.10008•3.立体视觉与场景流•立体视觉是双眼观察景物能分辨物体远近形态的感觉。•立体视觉的目的在于重构场景的三维几何信息。•用作立体视觉研究的图像在时间、视点、方向上有很大的变动范围，直接受所应用领域的影响。立体视觉的研究主要集中在三个应用领域中，即自动测绘中的航空图片的解释，自主车的导引及避障，人类立体视觉的功能模拟。•在立体视觉的应用领域中，一般都需要一个稠密的深度图。•场景流是空间中场景运动形成的三维运动场。No.10008•立体视觉一般有哪三类实现方式？请详细说明？No.10008•4.视觉里程计算法•视觉里程计算法的一个非常重要的特点是它只关心局部运动，而且大部分时间是指两个时刻之间的运动。当以一定的时间间隔采样时，可以估计运动物体在每个时间间隔内的运动。由于该估计值受噪声的影响，故将前一时刻的估计误差加入后一时刻的运动，会产生误差累计。No.10008•5.目标跟踪•目标跟踪是指系统跟踪特定场景中感兴趣的一个或多个特定对象的过程，目标跟踪在无人驾驶领域很重要，一方面可以提高后续检测的准确性，另一方面能够对目标的运动状态进行跟踪。•根据观测模型，目标跟踪算法可分为两类：生成算法和判别算法。生成算法利用生成模型来描述目标表面特征，并使重构误差最小化来搜索目标；判别算法又称检测跟踪算法，通过区分待识别目标和道路、天空等背景，将待识别目标提取并进行跟踪。No.10008•视觉传感器在智能网联汽车中的实际应用02No.10008视觉传感器在智能网联汽车中的实际应用•随着电子化、信息化与人工智能技术的发展，小型化和嵌入式的视觉传感器得到了广泛应用