基于焦点值曲线预测模型的数码相机自动对焦方法

文献翻译基于焦点值曲线预测模型的数码相机自动对焦方法邱立诚，傅楸善台湾大学计算机科学与信息工程系台湾，台北106本文从点光源聚焦测量计算来模拟焦点值曲线。该模型表明：一个场景中的一个重点对象的值将在相机中形成一个单值钟形曲线。我们提出的自动对焦方法将采用该模型焦点子窗口选择性的预测焦点值曲线的峰值。对最佳聚焦透镜的位置的精准预测将大大缩短搜索时间。此外，在从相机反馈焦点值进一步考虑确定透镜的移位时去优化实际的耗时。通过实验，我们对焦点值曲线的模拟是准确的并且提出的自动对焦方法也缩短了整体的搜索时间。关键词：焦点值曲线，对焦测量，自动对焦，子窗口，最佳聚焦透镜位置1、引言在过去的几年当中，全球的数码相机需求逐年增长。自动曝光（AE），自动白平衡(AWB)，自动对焦(AF)是低成本和高质量数码相机市场里面控制图像质量的三个关键技术。自动对焦主要是搜索最佳聚焦透镜位置，在高端的单反相机（SLR）里面采用了专门的距离传感器。为了降低成本，在低成本消费市场不采用该传感器，所以才提出了各种各样的自动对焦方法来提高搜索速度和聚焦精度。详细的爬山法（EMC）[1,2]从一开始到最后透镜位置的确定一步一步地扫描了图像的焦点值。EMC是最准确的自动对焦算法，由于要搜索每一步透镜的位置，耗时就成了EMC的一大缺点。自适应变步长爬山法[3]通过动态镜头移动步长的选择减少了搜索的步骤，从而有效降低了EMC的搜索时间。从理论上说还不错，但在实际的运行中还有很大的局限性。例如，焦点值从摄像机芯片反馈期间需要一段时间来考虑镜头移动的步长。除了搜索方法，还设计了各种焦点检测滤波器来提高搜索精度和缩短最佳聚焦位置的搜索时间。C.H.Parketal.[4]设计了一个使用更少系数的滤波器来降低焦点检测计算的耗时和保持较高的搜索精度。J.H.Leeetal.[5]提出两个阶段使用不同滤波器的搜索算法来避免旁瓣问题和进一步提高搜索精度，不幸的是，该方法需要额外的硬件而增加了成本。根据焦点值曲线模型的点扩散函数，我们提出了模型预测的自动对焦方法。仅仅需要几个镜头位置的检测就能够预测焦点值曲线的峰值。第2节将讨论光学系统和相机摄像芯片的焦点检测计算之间的关系，实际的搜索时间和镜头电机转速也将在这一章来讨论。详细的自动对焦方法将在第3章描述。第4章将验证我们的自动对焦方法和在我们的原型相机里面来文献翻译演示他的性能，然后第5章将做一个总结和对未来工作的展望。2、焦点值曲线的制定和耗时的评价在以往的实验中发现，当一个对象聚集在一个固定的位置时，焦点值曲线总是形成一个钟形曲线，如演示图1（a），并且这个曲线的峰值就是对应的镜头最佳位置。如果有多个对象出现在一个场景，那么焦点值曲线就会出现多个峰值，如演示图1（b）。本节描述了场景中单个对象的焦点值曲线的形成，同时也表明多峰值的焦点值曲线是由一个个单一对象所对应的焦点值曲线结合而成。图像传感器所输出的噪声和镜头对焦电机与对焦滤波器之间的关系也将在本节讨论。图1,(a)表示单个目标的焦点值曲线，（b）表示两个目标的焦点值曲线2.1、光学透镜系统由薄透镜法则知，点光源通过透镜系统将收敛到最佳聚焦位置的一个点。如果像平面不是在最佳聚焦位置，将在平面上形成一个园斑，叫做模糊圈（coc）。图2显示了简单的薄透镜系统和相应的模糊圈。用Q,D,L来分别表示图像距离、孔径大小、像平面的位置。根据几何光学，模糊圈的半径R定义为：DRLqq（1）R的大小可以确定聚焦的程度，R越小表明越接近最佳聚焦位置。图2,光学系统中的模糊圈文献翻译从能量的角度来看，在镜头是理想的情况下，一个单位的点光源入射到透镜上，仍然有一个单位的光透过透镜系统，此外，圈内的亮度是均匀分布的。透镜系统对点光源的响应被称作点扩散函数（PSF），理想的点扩散函数[6]被描述为：(,)1idealhxydxdy（2）其中：222210(,)xyRRidealhxy，如果，其它（3）其中R是COC的半径。然而，真正的透镜并不是理想的，所以实际的点扩散函数被修改为：22221(,)xyRGhxyeR（4）现在我们可以通过光学系统来显示图像：(,)(,)(,)GGxyIxyhxy（5）其中(,)Ixy是原始图像，(,)Gxy是经过透镜后的图像，代表卷积运算。式子（5）表明透镜系统可以被视为一种光学模糊系统。2.2、焦点值曲线锐度预示着图像的高频分量可以通过高通滤波器，由此，高通滤波器通常用来提取图像的高频分量。在我们的设计当中，图像梯度、图像的一阶导数常被用来提取图像的高频分量而平方梯度用作焦点值的计算。设(,)Gxy是通过透镜的模糊图像，然后图像梯度为：(,)(,)(,)xyGxyGxGGxyyGxy（6）焦点值（FV）表示为:22xyFVGdxdyGdydx（7）假设公式(5)中的原始图像是点光源，即狄拉克函数(7)可简化为：2222222()2()22224444xyxyRRxyFVedxdyedydxRR文献翻译22222231()2yxRRedyedxR（8）由于几何对称性，焦点值方程可进一步计算：21FVR（9）使用方程(10)和(11)：2axedxa（10）2212axxedxaa（11）从（1）式知，R是由图像距离、孔半径、像平面的位置决定的。于是方程(9)可由下式给出：222qFVDLq（12）图3,厚透镜系统中的像差方程(12)是在假设薄透镜是理想的情况下成立的。但是在实际当中，透镜系统不是一个薄透镜，他有光学像差。如图3所示，点光源通过透镜系统没有形成一个零半径大小的圆，这意味着COC是一个半径大于零的小尺寸圆。所以焦点值可归纳为：120cFVkxx（13）这里：1c:恒定常数x:合适的透镜位置0x：最佳聚焦透镜位置k:coc的最小半径（恒定）式(13)表明：单个对象通过薄透镜以后经过焦点值计算可得到一个钟形曲线。很明显，透镜系统的孔径尺寸和光学像差将被视为常数，仅高通滤波器会影响焦点值曲线的功率。文献翻译通过上面的研究讨论，在不同位置的多目标焦点值曲线可表示为：21niiiicFVkxx（14）其中：i表示场景中的对象数目，方程(14)是(13)的拓展形式，同时论证了一个场景中的多个目标对应在焦点值曲线上有多个峰值。2.3、噪声的影响和焦点值比图像的聚焦测量如图（4）所示，结果表明，通过透镜的模糊图像将会在芯片中检测到另外的噪声。这种另外的噪声是一个附加的噪声震动，在焦点值曲线当中，相比高值区域会更加影响到低值区域的聚焦检测。这就意味着焦点值曲线的平坦区域不应该被用做预测过程来提高搜索精度。焦点值比r的定义为：r当前焦点值上一个焦点值（15）(,)(,)(,)GxyIxyhxyn图4,图像焦点值的计算流程表1显示了焦点值曲线和焦点值比率的关系，1≦rn表示曲线的平坦区；R≧n代表曲线上升区；和R＜1个代表曲线下滑区。在我们的研究方法中，只有上升区和下滑区会被记录，平坦区会被舍弃。实验表明，在多数情况下，n=5时给出了令人满意的结果。表1,焦点值曲线与焦点值比率之间的关系1≤rnr≥nrn平滑区上升区下降区焦点值是每一个像素的聚焦检测的总和，所以焦点值曲线将会受到传感器噪声的影响。为了进一步降低噪声的影响，定义了一个噪声阈值来消除累计起来的噪声。通过式子(6)计算的图像梯度值低于此阈值时将不被纳入后续的焦点值求和公式(7)当中。加阈值和不加阈值的焦点值曲线如图5所示，很明显，加了阈值的焦点值曲线更加平滑并且能够更好地接近真实文献翻译的焦点值。图5,带噪声阈值的焦点值曲线和不带噪声阈值的焦点值曲线2.4、镜头的移步和电机的转速图像的聚焦检测是定期的计算，反馈的频率受到传感器的性能影响。在一般情况下，无论是互补金属氧化物半导体（CMOS）还是电荷耦合器件（CCD），反馈周期都会满足预期的要求。例如，每秒30帧，即每33毫秒的周期。镜头电机转速是一个很重要的问题，必须考虑耗时的问题。一个每秒200脉冲的的电机每走一步需要5毫秒，但另一个每秒1000脉冲的电机每走一步只需要1毫秒的时间。如图6，无论是采用每秒200脉冲的电机还是采用每秒1000脉冲的电机，如果一个周期只走一步的话需要33秒的时间。这两个电机，200脉/秒和1000脉/秒，在一个周期内最多能够带动镜头走6步和30步。EMC在一个周期每移动一步需要更多的时间来等待下一个焦点值。为了缩短等待时间提高整体的搜索效率，镜头的移步和电机的转速是关键因数。图6文献翻译3、本文提出预测性的自动对焦算法从第2节的讨论，我们知道真实的场景当中不止一个对象，所以最后得出的焦点值曲线往往是有多个峰值。传统的方法是在多个峰值当中选择最大的一个峰值作为对应的最佳聚焦位置的选取，这就意味着一个对象的很多细节在一个场景当中将被视为最重要的。但是，一个对象的大多数细节在当前的自动对焦系统当中往往不是对焦的对象。例如人脸检测的自动对焦，人脸总是在自动对焦前就被确认为该场景中最重要的特征。还有一个例子就是用户自定义的目标自动对焦。所以，为了寻找最佳聚焦位置，聚焦对象往往是提前就从场景里面挑选出来。这样一来，在自动对焦期间从多个自动对焦窗口选择一个窗口将是一个独一无二的窗口，由此，焦点值曲线就必须是但峰值的曲线。我们的方法是基于窗口选择的自动对焦，具体过程细节如下：我们的完整方案如图7所示。首先，方程（13）是我们用图像梯度滤波器来搭建的焦点值曲线模型。在整个搜索过程当中，只要滤波器不改变，我们的模拟方程也不会改变。为了更好的利用焦点值反馈的时间，镜头的移动步数是由电机的运转速率决定的。在这一阶段确定阈值来降低噪声对焦点值累积的影响。在整个搜索期间，这些预定义的参数均为常数。除了参数的初始化以外，应该在聚焦搜索前完成子窗口的选择。复杂对象的识别是一个比较大的话题，本文不涉及。由于用户常常把一个场景的中心作为该场景最重要的部分，所以我们把中心窗口作为我们的目标窗口。在参数初始化之后才开始聚焦搜索。在一个周期当中镜头移动M步，同时摄像机芯片会计算对应子窗口的焦点值且得出与之相匹配的焦点值比率。如果焦点值比率位于1=rn之间，则当前的镜头位置偏移了最佳聚焦位置，于是再移动镜头M步。如果焦点值比r=n，则镜头的位置接近焦点值曲线的峰值，此时记录下当前的焦点值和镜头的位置。在r=n出现之后，移动镜头两次，每次移动M步，即使此时r1也要记录下相应的焦点值和透镜的位置，这是焦点值曲线的下滑区。现在得到了三个焦点值和一个镜头的位置，那么在方程（13）中的c1,k,x0三个参数就可以计算了。预测的最佳对焦位置就在x0处，当镜头到达最佳位置时，整个搜索过程就结束。文献翻译图7,本文采用的方法的流程图4、实验在这一部分当中，我们提出的相机自动对焦方法应用到了我们的原型相机当中，如图8所示。我们的原型系统搭载了数码相机的所有功能，包括一个六万像素的CCD传感器、图像信号处理芯片、5倍光学变焦镜头、200pps的电机、2.5液晶显示器和USB等等。1、模拟焦点值曲线2、确定镜头步距3、确定噪声阈值移动镜头以确定步距，获得焦点值曲线和焦点值比如果焦点值比r1或者r=n记录当前焦点值和透镜位置，逐渐移动透镜两次并记录透镜位置和焦点值计算焦点值曲线的未知参数，移动透镜到最佳预测位置选择场景的中心窗口作为目标窗口YESNO参数初始化自动对焦搜索文献翻译图8,多功能模型相机在这个原型相机当中，图像梯度聚焦滤波器被用来计算和聚焦测量的累加，方程（13）是我们的焦点值曲线的模型。由于镜头电机是200pps的转速，所以把镜头的移步定位6步/周期。选择60分贝的噪声阈值来降低噪声振动和平滑焦点值曲线。在该系统里面，大多数的传感器使用该噪声阈值都可以获得比较满意的结果。中心窗口是