图像处理讲座

图像处理基本内容介绍JianSunXJTU2010.10图像研究介绍•图像研究介绍–图像：由视觉系统所感知到的记录客观世界中物体、场景或者现象的非结构化信息，它是视觉信息的基本表现形式。数字化图像：以矩阵形式存储，可由matlab、openCV等直接读取和存储。–图像处理：对图像进行分析、加工和处理，使其满足视觉、心理和模式识别技术的需要。–图像识别：识别图像中所包含的物体或者目标。–图像理解：对图像的语义进行理解；研究图像中有什么目标、目标之间的相互关系、图像是什么场景以及如何应用场景。•实验平台–Matlab图像处理工具箱–C++：OpenCV(提供图像、视频处理的基本功能接口)–Matlab与C++混合编程(preferredbymathematics)图像研究介绍•图像研究所关注的重要信息–底层信息(Lowlevel)：图像的像素、图像块、边缘、角点、纹理等•图像处理主要关注底层图像信息的处理–中层信息(MiddleLevel):图像分割、目标的描述、双目视觉匹配等•图像分割、双目视觉、目标检测等–高层信息（highlevel）:图像的语义(场景、目标间的相互关系)描述。图像研究介绍•图像研究分类–基础研究•图像的基本规律、模式识别的基本理论、生物学基础等；–算法研究•针对图像处理的基本问题，设计模型与统计、优化算法；–应用研究•针对工业界所面临的问题（可能超出图像处理基本问题范畴），进行创新性研究。基础研究算法研究应用研究三者同等重要(图像基础研究应紧密结合应用背景)图像研究介绍•图像算法的评价标准–方法能解决问题–方法具有创新性–可应用性（简单、快速、具有通用性）最高境界：可应用于工业界目前状态：图像处理、部分图像识别（人脸、字符、汽车识别等）已得到广泛应用、图像理解研究还不稳健。•发展方向（应用驱动）–面向网络大规模数据的图像分类与理解•应用：基于图像的搜索引擎、数字娱乐–面向航天、安全等的场景识别•应用：外星探索、监控、无人驾驶汽车与飞机等报告内容目录图像处理与识别–滤波与去噪–填充–超分辨率–去模糊–图像分割–图像特征提取、表达与图像分类–视频滤波与处理图像处理基本任务•图像滤波与去噪(Imagefilteringanddenoising):–输入噪声图像，去除图像中所包含的噪声信息，以利于图像的进一步分析和处理。–噪声类型•生成噪声：高斯噪声，椒盐噪声•真实噪声：相机采集图像时的真实噪声，类高斯，但方差较小，且具有空间不一致性。图像处理基本任务•图像填充（Imageinpainting）–原本出现于艺术家手工修复艺术作品的污损或划痕部分，主要任务是通过数学模型和计算机算法，将图像中的缺失部分（由于污损、划痕、图像编辑、文字等造成的缺损）自动填充完整。图像处理基本任务•图像超分辨率（Super-resolution）–图像的超分辨率重建问题是指：给定低分辨率图像，如何重建出相应的高分辨图像;–挑战：目前可以很好实现图像边缘的超分辨率，但无法完美实现纹理的超分辨率。图像处理基本任务•图像分割(Imagesegmentation)–低层分割：将图像分割成为颜色或者纹理一致的小图像区域集合；–中层分割：将图像分割成为不同深度、不同物体所构成的图像区域集；–高层分割：将图像分割成为具有不同语义或目标的区域。[J.Sun,CVPR2007]图像处理基本任务•图像特征提取、表达与分类(Featureextraction,representationandclassification)–特征提取：提取将图像的低层特征，例如角点、纹理、边缘等，具有高维性。–特征表达：将高维图像特征抽象、压缩表示为固定维数的特征向量。–图像分类：基于图像特征向量，利用模式识别算法实现图像分类。cowshouseairplanepeople特征提取特征表达分类算法图像处理基本任务•视频处理(Videoprocessing)–图像处理中的所有问题均对应着相应视频处理问题：视频去噪、填充、超分辨率、分割与理解–与图像处理的不同之处：视频相邻帧之间的强相关性为解决视频处理问题提供的新的信息。因此视频处理结果相对于单帧图像处理效果更好。Videocutout[YinLi,Siggraph2005]报告安排•孙剑：–整体介绍、超分辨率、填充•曹文飞：–滤波与去噪•苏晓蕾：–基于图结构的图像分割、识别等•彭毅：–图像特征提取、表达与图像分类•罗涛：–视频处理图像处理实验•图像处理编程基本流程–第1步：读图像文件–第2步：图像处理算法（矩阵数据处理）–第3步：存图像文件•Matlab–imread:读取图像文件–imwrite：存储图像到硬盘–imshow：显示图像处理效果（用于调试）•编程（Matlab与C混编）–Matlab处理读、存图像以及可以以矩阵方式计算的数据处理部分；–C语言程序处理涉及循环操作的数据处理部分。图像超分辨率•基于插值的方法方法、代码、结果•基于重建的方法–基于先验的方法–基于正则化的方法•基于学习的方法–BeliefPropagation的方法–流形学习–稀疏编码图像超分辨率•基于插值的方法（matlab:imresize）–最近邻插值•用最近邻点的灰度值代替–双线性插值•用二维度的相邻点的线性插值代替–双立方插值•用相邻已知点的B-Spline插值实现，可以简化为卷积运算–基于回归的插值•基于自适应2-d回归模型（IEEETIP）（目前最好的基于差值的图像超分辨率算法）算法程序下载地址：~xwu/图像超分辨率•结果比较双立方插值回归模型Ground-truth图像超分辨率•基于重建的方法–基本假设:高/低分辨率图像之间的关系hIlI)*(hlIGI：高分辨率图像：低分辨率图像G：高斯核函数：下采样算子)(||)*(||)(2hhlhIRIGIIE正则化模型：)(minarghIhIEIh高分辨率图像的正则化约束通过梯度下降法或共轭梯度法进行优化图像超分辨率•基于重建的方法–正则化项：基于图像边缘的光滑性或者统计性特征•Edgestatistics[Fattal,Siggraph2007])(IVx：描述沿着图像边缘相邻像素点之间的颜色差相对于其所满足的高斯统计分布的似然值光滑测度：由自然图像学习所满足的高斯分布正则化项：项目网址：~raananf/projects/upsampling/results.html图像超分辨率•Gradientprofileprior[Sunet.al.,CVPR2008]图像重建约束p(x0)x1x2x0图像边缘梯度轮廓的参数化表达：低分辨率梯度场高分辨率梯度场高低分辨率梯度轮廓参数关系正则化约束项：•结果比较EdgestatisticsGradientprofileprior图像超分辨率•基于学习的方法–基本想法：给定观测到的低分辨率图像块，通过匹配低分辨率图像块，在训练集合中找到最匹配的高/低图像块组，应用其相应的高分辨图像块得到高分辨率图像。•训练集：由高低分辨率图像块组成的集合。实际应用中，低分辨率图像块需要正规化，高分辨率图像块为middlefrequency信息。训练集匹配推理？图像超分辨率•Markovnetwork方法[Freeman,IJCV,2000]训练集输入低分辨率图像候选高分辨率图像块集iyjyiyjyy为随机变量，对应于已知一低分辨率图像块；x为所求随机变量，可取候选高分辨率图像块集中任意一图像块Markov随机网联合概率：测度相邻高分辨率图像块重合部分颜色相似性测度观测低分辨率图像块与所选高分辨率图像块相应低分辨率图像块的相似性(BeliefPropagation):~pff/bp/(GraphCut):图像超分辨率•稀疏表达方法[Yangetal.,IEEETIP,2010]训练集:},{hlDD训练集，即低/高分辨率基元集合低分辨率集上的稀疏表达：则高分辨率图像块为：hD},{hlDD学习方法：图像超分辨率图像超分辨率•挑战？纹理超分辨率–边缘与纹理分别超分辨率[Taietal.,CVPR2010]•基本思想：采用梯度轮廓先验方法实现边缘的超分辨率+采用基于例子的方法实现纹理的超分辨率（人工给定例子纹理）图像超分辨率–基于纹理内容搜索的超分辨率[Sunetal.CVPR2010;Fattal,ICCP,2010]2010]能量模型：图像填充•基于扩散的方法–PDE方法•基于学习的方法–基于例子的方法•基于稀疏表达的方法–小波域内稀疏表达–图像块稀疏性物体移除划痕移除基本思想：应用缺失区域边缘/外部的已知区域内信息进行填充。图像填充•研究背景–老旧艺术品修复、电影修复–艺术家采用的修复方法：•步骤1：整体观察图像，由已知信息明确需要填充的内容、如何去填充；•步骤2：将待填充区域外的结构(即边缘)光滑延拓到待填充区域内部；•步骤3：将待填充区域内由结构轮廓线所围成的区域依据所连通的外部已知区域分别填充颜色；•步骤4：填充细节纹理。图像填充•基于扩散的方法–基本想法：以像素点为单位，将待填充区域边缘的图像信息扩散到填充区域内部；–优缺点：可以较好地填充较小的缺失区域（例如划痕移除），但难以填充大范围的缺失区域（例如物体移除）。扩散填充过程（随着迭代次数增大）图像填充•[M.Bertalmio,imageinpainting,Siggraph2000]–基本思想：采用偏微分方程(PDE)的差分迭代格式进行图像信息扩散。–方法：沿着等灰度方向扩散图像信息，目的是平滑地将结构（即边缘）由已知区域延拓至未知区域。INIINIsophote(等灰度)方向：迭代扩散格式：),(),(),(jiNjiLjiInnntL沿着等灰度方向的方向导数迭代收敛0),(jiInt，即L沿着等灰度方向平滑。图像填充•算法与实现–偏微分方程的差分实现–扩散迭代•以初始待填充图像为初始图像(i,j)(i-1,j)(i+1,j)(i,j-1)(i,j+1);2/]))1:1,1[(:,]),:2[(:,(_;2/:))],1:1,1([:)],,:2([(_endimendendimdyimendimendendimdxim图像填充•基于例子的方法–基本思想：•以图像块为处理单元，由图像已知区域向图像缺失区域逐渐扩散填充。•每次填充图像块时，用已知图像区域的相似图像块（称为例子图像块）填充待填充图像块。–优缺点：•可以填充较大缺失范围的图像区域•难以恢复缺失区域内有复杂结构的图像已知图像区域待填充图像区域图像填充•算法步骤（先结构后纹理）–迭代如下过程•步骤1.选择待填充图像块(优先选择处于结构上图像块)：–[A.Criminisi,IEEETIP2004]–我们的方法[IEEETIP2010]:描述图像块处于结构上的置信程度图像填充•步骤2.填充待填充图像块:–最相似图像块填充(在图像块已知像素上度量相似性)[A.Criminisi,IEEETIP]–多个最相似图像块的带权平均[Wong，IEEEConf.IP]–我们的方法(稀疏表达)：例子图像的稀疏线性组合并约束内容一致性（采用类似MatchingPursuit求解）以例子图像块与待填充图像块相似性为权重022,{}12min{||||}ˆ.||-||ˆ||-||1jjjppppppppNpkstPPPPwaebeaaaÎYYYY+++=årL图像填充•实验结果填充过程我们的结果[A.Criminisi]图像填充我们的结果[A.Criminisi]网络资源•Inpainting:[1]~mbertalmio/restoration.html