图像工程概论..

河海大学1图像工程简论报告人:李庆武教授河海大学物联网工程学院河海大学2图像的应用领域2报告主要内容图像的概念1图像工程及其内容3图像工程方法概述4课题组的研究成果5河海大学3“图”是物体反射或透射光的分布，是客观存在的，而“像”是人的视觉系统所接收的图在人脑中所形成的印象或认识。图像是自然界景物的客观反映，是人类认识世界和人类本身的重要源泉。凡是人类视觉上能感受到的信息，都可以称为图像。照片、绘画、影视画面是图像；照相机、显微镜的光学成像也是图像；汉字也可以说是图像的一种。通过某些传感器变换得到的电信号图，如脑电图、心电图等也可看做是一种图像。除常见的静态图像以外，图像还包含：视频(Video)、图形(Graphics)、动画(Animation)等。图像的概念1河海大学4图像在人类接收和传递信息中都起着重要的作用。因为图像比起声音、文字信息有其突出的长处，那就是图像的直观性、客观性，它能原封不动地将客观事物的原形展现在眼前。人类通过视觉从图像数据中获取信息，约有75%的信息是通过视觉系统获取的。因此，图像科学在信息科学中具有极其重要的地位，同时，图像科学的研究必然与人类视觉系统的特性紧密相关。视觉系统和大脑具有高超的能力，能区分图像中的物体与背景；能感知颜色、亮度、形状、方向、位置、运动等信息的细微差别；能将有意义的信息综合成一体；有很强的信息存储能力；具有高效平行处理的能力等。图像的概念1河海大学5图像的主要分类：连续图像与数字图像：前者在空间定义域是连续的，后者的空间定义域是二维等间隔离散化的点集。数字图像可由连续图像通过采样、量化得到，也可直接由数字成像设备获得。静态图像与动态图像：静态图像包括静止图像和凝固图像。每幅图像本身都是一幅静止图像。凝固图像是动态图像中的某一帧。动态图像指视频、动画等图像序列，动态图像的快慢以帧率量度，帧率反映了画面运动的连续性。图像的概念1河海大学6标量图像与矢量图像：单值图像称标量图像或灰度图像，矢量图像在空间定义域的某一像素点，可以取多个值。最常见的矢量图像是彩色图像，图像的取值是三维彩色空间的一个矢量。矢量图像的另一个重要特例是对同一地区的多通道卫星图像。三维图像与三维体数据：图像数据的空间定义域通常是二维的。随着技术的发展，已可获得定义在三维空间域上的图像数据，即三维图像。计算机断层扫描（简称CT）图像，就是三维图像，三维图像也常称为体数据，三维图像的像素点称为体像素。图像的概念1河海大学7图像的应用领域2图像的应用领域非常广泛，涉及天文观测、医学诊断、工业检测、卫星遥感、视频监控、海洋测绘、地质勘探、地理信息系统、电影制作、游戏制作、广告艺术、摄影艺术等诸多领域，几乎不存在与图像无关的技术领域。图像的主要信息源来自于电磁波谱，其他主要能源包括声波和电子，不同的成像方式适用于不同的应用领域。电磁波谱包含了伽玛射线成像、X射线成像、紫外波段成像、可见光及红外波段成像、微波波段成像、无线电波成像。河海大学8伽玛射线成像主要应用于核医学和天文观测，比如PET图像可有效用于骨骼扫描和肿瘤检测，X射线成像可应用于胸部、主动脉造影、头部CT等诊断，也可应用于天文观测和工业检测（集成电路板元件缺失和断线检测、发动机和火箭内部结构扫描）。紫外波段成像可用于印刷技术、荧光成像及天文观测。荧光区的光对照一个暗背景可以得到足够强的对比度，一个典型应用是票据的印刷和检测。可见光成像广泛应用于卫星遥感、视频监控、电影制作、摄影艺术等领域，红外波段成像常与之相结合，特别适用于夜间人、火焰等目标的检测。图像的应用领域2河海大学9微波波段成像的典型应用是雷达成像，比如星载/机载合成孔径雷达成像（简称SAR），不易受到气候条件的影响，可全天候工作。无线电波成像主要应用于医学和天文学。在医学中，无线电波用于核磁共振成像（MRI）。声波成像在海洋测绘、地质勘探和医学诊断中得到了广泛应用。侧扫声呐、前视声呐及多波束测深声呐广泛应用于海洋测绘与水下目标探测。地层剖面仪可应用于浅地层结构探测。超声成像广泛应用于医学诊断，特别是妇产科。电子成像的典型例子是电子显微镜，在医学、微生物检测及集成电路检测中有着重要应用。图像的应用领域2河海大学10各种成像实例2图1伽玛射线成像实例（a）骨骼扫描（b）PET图像河海大学11图2X射线成像实例(a)胸部图像(b)主动脉造影图像(c)头部CT(d)电路板(e)天鹅星座环各种成像实例2河海大学12图3紫外成像实例—交通银行支票图像各种成像实例2河海大学13图4可见光成像实例—美国华盛顿特区的LANDSAT卫星多光谱图像（不同的数字对应不同的光谱）各种成像实例2河海大学14图5可见光成像实例(a)指纹图像(b)美元纸币(c)和(d)车牌照各种成像实例2河海大学15图6红外成像实例—街区红外夜视图像各种成像实例2河海大学16图7SAR成像实例—ChinaLake机场跑道图像各种成像实例2河海大学17图8MRI成像实例(a)膝盖(b)脊椎各种成像实例2河海大学18图9覆盖电磁波谱的蟹状脉冲星图像（从左至右依次为伽玛射线、X射线、可见光、红外线、无线电）各种成像实例2图10声波成像—地震模型横截面图像河海大学19图11侧扫声呐成像实例—失事飞机各种成像实例2河海大学20图12前视声呐成像实例—水下锚钩各种成像实例2河海大学21图13超声波成像实例(a)胎儿(b)胎儿的另一个侧面(c)甲状腺(d)损伤的肌肉层各种成像实例2河海大学22图14扫描电子显微镜（SEM）成像实例(a)过热损坏的钨丝的250倍SEM图像(b)损坏的集成电路的2500倍SEM图像各种成像实例2河海大学23图像技术：图像技术在广义上是各种与图像有关的技术的总称，包括图像的采集、编码、存储和传输，合成和产生，显示和输出，滤波、增强、复原和重建，分割，目标的检测、表达和描述，特征的提取和测量，序列图像的校正/对准，3-D景物的重建复原，图像数据库的建立、索引和抽取，图像的分类、表示和识别，图像模型的建立和匹配，图像和场景的解释和理解等。图像工程及其内容3河海大学24图像工程：图像工程是将数学、物理学等基础科学的原理结合在图像应用中积累的技术经验发展起来的，是对整个图像领域进行研究应用的新学科，也是对各种图像技术进行综合集成的研究和应用的整体框架，包含处理、分析与理解三个层次。图像工程及其内容3图15图像工程三层次框图河海大学25图像工程及其内容3图15图像工程整体框架河海大学26图像工程包含三个层次：图像处理：图像处理是比较低层的操作，它主要在图像像素级上进行处理，对输入的图像进行某种处理，输出通常是另一幅图像。主要包括：图像去噪、图像增强、图像复原、图像修复、图像压缩编码、数字水印和信息隐藏等。图像分析：图像分析的目的是提取图像的特征，用较少的数据—特征矢量来刻画对象，以便用于鉴别和分类。分割、特征提取、特征分析、目标检测、跟踪与识别是图像分析的主要研究内容。文字识别、指纹识别、人脸识别是图像分析的典型案例。图像工程及其内容3河海大学27图像理解：图像理解在图像分析所提供的特征基础上，研究图像场景中各对象的属性及相互关系。例如，对于人的面部表情的解释，监视驾驶员的疲劳程度，场景中的语义描述和推理。这一研究内容通常界定为计算机视觉或人工智能的范畴。通常包含多传感器图像融合、图像3-D表示、场景恢复、图像解释和推理、基于内容的图像和视频检索。处于较低层次的处理结果可以直接投入应用，也可以作为高层次处理的输入；在实践过程中，也常需要利用高层次处理的初步结果，来改进和完善低一层次的处理。这是图15种有反馈箭头的原因。图像工程及其内容3河海大学28图像工程中常用的方法有：点操作和代数运算：在对图像各像素进行处理时，只输入该像素本身灰度的运算方式称为点运算，如灰度变换。图像的代数运算主要有加、减、乘、除等，如运动物体的边界可以由相邻的图像帧间求差得到。基于集合论的数学形态学方法：对于二值图像，数学形态学方法非常重要。在“白区”或“黑区”集合A定义及结构元素B定义的基础上，可以定义基本的形态学算子：膨胀和腐蚀，由此衍生出开操作、闭操作、击中或击不中变换、边界提取、区域填充、连通分量、细化、粗化、骨架、裁剪等形态学操作。图像工程方法概述4河海大学29基于傅里叶变换的方法：傅里叶变换是信号分析的有力工具，是时域处理和频域处理算法设计的理论基础，能够方便地得到数值实现。傅里叶变换可用于图像平滑、去噪、锐化、复原、CT图像重构，等，压缩编码中的DCT也可视为傅里叶变换的变异。标准傅里叶变换只在频域里有局部分析的能力，而在时域里不存在局部分析的能力，不能反映信号瞬时频率随时间的变化情况，由此产生了短时傅里叶变换，把信号划分成许多小的时间间隔，用傅里叶变换分析每一个时间间隔，以便确定该时间间隔内频率的变化情况。短时傅里叶变换的窗口大小是固定的，缺乏适应性。图像工程方法概述4河海大学30基于小波变换的方法：傅里叶变换的局限性源于它所使用的正交基函数的广延性。Meyer首先构造出具有时—频域双重定域性，并且具有正交性的基函数，小波分析由此迅速发展。小波变换引入了基小波和尺度因子，具有局部变化的适应性：在低频时，小波变换的时间分辨率较低，而频率分辨率较高；在高频时，小波变换的时间分辨率较高，而频率分辨率较低。小波变换在图像的去噪、增强、编码压缩、纹理特征分析等方面得到了广泛应用。图像工程方法概述4河海大学31基于多尺度几何变换的方法：寻求客观事物的“稀疏”表示方法,一直是计算机视觉、数据压缩等领域的专家学者致力于的研究目标。对于含“点奇异”的一维信号,小波能达到最优的非线性逼近阶，而在处理二维或者更高维含“线奇异”的信号时,由一维小波张成的高维小波基不能达到最优逼近阶。发展多尺度几何分析的目的是为了检测、表示、处理某些高维奇异性。对于二维图像,奇异性主要由边缘所刻画，因此主要的任务是处理边缘。目前，提出的多尺度几何分析方法主要有:Ridgelet、Curvelet、Bandelet、Contourlet等。图像工程方法概述4河海大学32各种多尺度几何变换方法继承了小波变换的多尺度、良好的时频局部特性，还具有多方向性，允许每个尺度上具有不同数目的方向分解，其基支撑区间具有随尺度而长宽比变化的“各向异性”特性，能够实现对图像的稀疏表示。多尺度几何变换的边缘稀疏表示优势使其在去噪、增强、压缩、纹理提取与分析等领域得到了广泛应用，取得了优于小波的效果。图像工程方法概述4河海大学33基于偏微分方程的方法：偏微分方程具有很强的局部自适应性和高度的灵活性，系统地采用偏微分方程方法进行图像处理近十多年来也得到了广泛的应用。可由能量泛函及变分法得到待求解的偏微分方程，也可将期望实现的图像变化与某种物理过程进行类比建立对应的偏微分方程。偏微分方程在图像滤波、复原、修复、增强、分割等诸多领域得到了成功的应用。图像工程方法概述4河海大学34基于随机建模的方法：大多数自然图像，特别是纹理图像，具有显著的随机特性，可将图像视为某些随机场的典型样本，比如Markov随机场、Gibbs随机场。就建模图像处理来说，随机建模是最理想和相关的工具，尤其重要的是相关的统计模式理论、学习理论、信号和参数估计的贝叶斯理论和随机算法如蒙特卡罗模拟、模拟退火和EM算法。在所有随机方法中，贝叶斯框架具有基础地位。基于随机建模的方法也常可和小波变换等方法相结合，可有效应用于图像的去噪、复原、分割、特征描述、纹理分析与合成、场景理解等。图像工程方法概述4河海大学35基于神经网络的方法：神经网络具有高度并行处理能力、自适应功能、非线性映射能力和泛化功能。最初，神经网络作为识别分类器和聚类技术在图像工程中得到了应用。随着认识的深入，神经网络在图像复原、增强、压缩、特征提取、分割、识别等领域均得到了较广泛应用。其它人工智能方法如遗传算法、数学方法如独立分量分析、模糊集理论、优化方法等等，均可有效应用于图像工程。人工智能、