Kernel Regression for Image Processing and Reconst

KernelRegressionforImageProcessingandReconstruction•1.Introduction（介绍）•1.1.背景；•操作简单和成本效率高导致数字图像系统越来越受欢迎，但是传统的电影摄像机的低分辨率仍然是一大缺陷。由于商业数字相机使用的CCD像素（CCD是一种半导体装置，能够把光学影像转化为数字信号。CCD上植入的微小光敏物质称作像素）的限制，我们在数字图像中经常看到抽样不足效应，使用更密集的CCD阵列不但会增加成本费用，而且还会使得图像中的噪声更多。鉴于此，这些年来，人们开始使用图像处理的方法来提高数字图像的质量。本文主要研究核回归方法，来试图恢复由于成像系统的限制而被破坏了的无躁的高频信息，还有退化过程，比如说压缩。•1.2.本文的主要内容；•（1）提出经典的核回归方法，并说明该方法是降噪和插值的一个有效工具，且建立起与其他的一些方法之间的关系；•（2）将经典核回归推广到自适应的核回归，并给出它在降噪和插值应用中的非常好的结果；•1.3.本文的结构;•2.Classicalkernelregression（经典核回归）•2.1.KernelRegressionin1-D（一维的情形）•假设1维信号的数学模型如下•其中表示回归函数（未知的），表示在第个采样点处的采样值，表示独立同分布零均值噪声。核回归的目标是通过观察数据估计未知回归函数（对于这个问题，大致有两种估•计方法:一种是参数估计;经典的线性或非线性回归就属于这种方法；另一种是非参数估计:我们知道，并非所有的关系都能用一个有限的数学式子来表达:在绝大多数情况下，;即使引入大量的参数，仍不能减少估计的误差，这时我们就引入了非参数估计，核回归即是一种非参数估计），同时，该过程也可以看作是对目标函数进行去噪的过程。•在的形式未确定的情况下，假设是N阶局部平滑的，为了估计函数在给定数据下任意点处的值，我们可以将函数在这一点局部展开。假设在采样点的附近，则有N阶泰勒展开式:•上式说明如果把泰勒级数作为回归函数的局部估计，则估计参数就是基于数据的回归函数的估计，参数给出了回归函数N阶微分的局部信息。因为这个方法是基于局部逼近的，所以一个符合逻辑的思想就是：给定点附近的采样点权重比较远采样点权重要高。为了体现这种思想，我们通过下面的优化问题来计算：•其中是核函数，它以估计点为中心，用来控制各个采样点的权重：距离x越近的点，权值越大。是平滑参数（标量）,用来控制这个核的尺度。核函数形式不确定，只需满足关于y轴对称并在零点取最大值。•一般的情况下，我们只考虑情形，特别的选时，我们得到的估计子为，其形式为：•阶数N和平滑h度同时影响估计的偏差和方差，一般的，N越小（得到的图像更光滑），偏差越大，方差越小，h越小，偏差越小，方差越大。•2.2.RelatedRegressionMethods（相关的回归方法）•B-splineregression•2.3.KernelRegressionFormulationin2-D（二维的情形）•同一维的情况相似，2维信号的数学模型如下：•此时是维的向量，对应的泰勒级数为：•其中为梯度矩阵，为黑塞矩阵•定义为一个对称矩阵的“下三角”部分的半向量化算子，例如•则上式简化为：•对比两式，即是我们所要求的像素值，向量和分别为：•对应的，从下面的最优化问题中求得：•其中•此时是二维的核函数，是阶的平滑矩阵。•我们可以把（7）式写成矩阵的形式，即下面的赋权最小二乘优化问题：•其中•不论阶数为多少，我们的目的是为了估计出像素值，所以只需估计出参数即可，故最小二乘估计简化为：（8）••下面我们给出（8）式的一个更简洁更直观的等价形式：•从（8）式可知是一个阶分块矩阵：其中是矩阵（一个矩阵块），我们计算到时上述矩阵的各个元素值，有•利用上述简化符号，（8）式就可以表示成局部线性滤波过程：•其中••同时可以计算出（N=2），如下：同样利用简化符号，则•其中•4.SmoothingMatrixSelection（平滑矩阵的选择）•从（7）式中回归核的形状的定义可以看出，估计子的性能是依赖于平滑矩阵的，在数据是二维的情形下，是阶的矩阵，它能扩充回归核的足迹（footprint）以包含足够的样本，如图7所示：•交叉验证法是一个估计局部平滑矩阵的好方法，但是这个方法计算起来非常困难，我们可以采用一个简单，易于计算的模型：•其中是一个标量，用来衡量样本的局部密度（标准的情况下，设），是全局平滑参数。•上述即为经典局部线性核回归算法。经典的回归算法在图像平滑区域可以获得近似最佳的滤波效果，但对图像边缘附近的像素估计时，容易造成边缘模糊。这是由于在图像边缘附近存在很多跳变点，因此核窗口中包含不连续的样本点，使得核估计的结果存在较大偏差。因此，有必要对经典的核回归算法进行改进，以达到更好的去噪效果。•3.Data-adaptedkernelregression（对数据自适应的核回归）•考虑经典核回归估计，是数据的局部线性组合，尽管具有很好的性质，且相对容易理解，但因为数据的局部线性条件而存在固有限制。为了更有效的适用于各种数据，使模型具有非线性，可以考虑在经典方法以像素位置决定权值的基础上，引入像素灰度值。即核函数在计算权值时考虑两个因素：空间距离和灰度距离，称为自适应控制核回归.自适应核回归方法不仅依赖于采样位置和密度，也依赖于这些采样点的灰度。因此，回归核的有效尺寸和形状是与图像局部特征相关的。图8比较了经典核和自适应核回归边缘处的不同分布情况：•引入灰度距离后，原来的最优化问题就变为：•3.1.BilateralKernel（双边核）•这里是的一个最简单，最直观的选择，即用分离项来处理空间距离和灰度距离：•其中，为空间平滑矩阵，为灰度平滑标量.•特别的，当时，我们得到：•将分解为空间核及灰度核会影响估计子的性能，因为它忽略了像素的空间位置和像素值之间的关系，并且在噪声比较严重的数据中，因为灰度差都很大，导致灰度权都趋于•0，从而达不到引入灰度核的效果。而接下来的这节就提出了一种克服双边核的缺陷的方法。•3.2.SteeringKernel（控制核）•我们观察到的效果实际上是一个像素在某个邻域内的局部梯度估计，并使用这个估计结果来对数据加权。基于这个直观的想法，提出一个两步方法：第一步，用经典的核回归方法估计的图像梯度作为初始值。其次，利用这个初始估计来度量图像的局部核的主方向（dominantorientation），即利用这个初始估计来自适应的“控制”局部核，这样可以形成一个形状类似沿局部边缘结构方向扩散的椭圆轮廓的核函数。有了这些局部自适应核，就可以有效的恢复图像的边缘，使得去噪后的细节更加丰富。自适应核的形式如下：•与经典平滑矩阵不同，这里的平滑矩阵是依赖于样本的全矩阵，称之为控制矩阵，定义为：•是基于局部灰度值的差值的协方差矩阵，称为控制核。•局部边缘结构与梯度协方差相关，协方差矩阵的一个直接的估计可由下式得到：•其中是包含待估计点的局部分析窗口。梯度的局部主方向与这个矩阵的特征向量有关。协方差矩阵的估计结果可能是秩亏欠或不稳定的，因此在这种情况下不能直接求矩阵的逆。在这种情况下，对角化或正则化方法可以获得协方差矩阵比较稳定的估计。在这里提出一个有效的多尺度方法来估计局部主方向，这个方法很好的解决了这一问题，它通过一个参数方法来对控制矩阵建立模型。为便于计算，将协方差矩阵分解为以下三个部分：•其中是旋转矩阵，是伸缩矩阵。协方差矩阵三个参数，，决定，分别是尺度，旋转，以及伸缩参数。图9说明了这些参数如何控制核的形状。首先，圆形的核由矩阵拉长，长半轴和短半轴由给定。其次，由旋转矩阵进行旋转。最后，由尺度变换大小。•我们定义尺度，旋转，和伸缩参数如下:•局部梯度区域的主方向是对应于局部梯度矩阵的最小奇异值（非零）的奇异向量，局部梯度矩阵的形式如下：•其中是一个阶的对角矩阵，它表示主方向的能量，阶的正交矩阵的第二个列向量，定义了主方向的角度：•且有••其中正则化参数和是用来防止核的形状变得无限的窄和长。实际上，只需合理的取较小的数即可，在本文的实验中，固定和。•3.3.IterativeSteeringKernelRegression（迭代的控制核回归）•由于被估计的控制核的平滑矩阵依赖于样本，所以它对输入图像中的噪声是敏感的（即噪声对估计结果影响较大），当引入一个迭代过程后，去噪效果可以更好，每次迭代的输出图像用来估计下一次迭代中核的灰度项。图10是该方法的流程框架图，其中是迭代次数。图（a）用来表示产生输出图像的初始估计。在下一步迭代中，重构的图像用来计算更可靠的梯度估计，见图（b），这个过程需要若干次迭代。增加迭代次数将导致方差减小，偏差增大，从而导致图像模糊。因此，只需几次迭代（一般在5次以内），就可获得最小的均方根误差.•4.Experiments（实验）