CMOS图像传感器

中国科学院沈阳自动化研究所机器人学国家重点实验室CMOS图像传感器的结构2010.10.29中国科学院沈阳自动化研究所机器人学国家重点实验室CMOS图像传感器•CMOS工艺•CMOS传感器介绍•CMOS和CCD•CMOS的结构•JPEG压缩•主要CMOS厂商•CMOS中的图像处理中国科学院沈阳自动化研究所机器人学国家重点实验室CMOS工艺CMOS:ComplementaryMetalOxideSemiconductor互补金属氧化物半导体中国科学院沈阳自动化研究所机器人学国家重点实验室CMOS图像传感器•CMOS工艺•CMOS传感器介绍•CMOS和CCD•CMOS的结构•JPEG压缩•主要CMOS厂商•CMOS中的图像处理中国科学院沈阳自动化研究所机器人学国家重点实验室CMOS介绍CMOS图像传感器是利用CMOS工艺制造的图像传感器，主要利用了半导体的光电效应。和CCD的原理相同。中国科学院沈阳自动化研究所机器人学国家重点实验室CMOS图像传感器•CMOS工艺•CMOS传感器介绍•CMOS和CCD•CMOS的结构•JPEG压缩•主要CMOS厂商•CMOS中的图像处理中国科学院沈阳自动化研究所机器人学国家重点实验室CMOS和CCD区别：灵敏度差异成本差异分辨率差异噪声差异功耗差异中国科学院沈阳自动化研究所机器人学国家重点实验室CMOS和CCDCMOS：CCD：低成本灵敏度低功耗分辨率高整合度噪声控制中国科学院沈阳自动化研究所机器人学国家重点实验室CMOS图像传感器•CMOS工艺•CMOS传感器介绍•CMOS和CCD•CMOS的结构•JPEG压缩•主要CMOS厂商•CMOS中的图像处理中国科学院沈阳自动化研究所机器人学国家重点实验室CMOS结构1.像素矩阵2.模拟信号处理单元3.数字信号处理单元4.内嵌微控制器5.寄存器控制接口6.数据输出端口7.JPEG压缩(可选)中国科学院沈阳自动化研究所机器人学国家重点实验室CMOS结构以OmniVision公司的OV7670为例：中国科学院沈阳自动化研究所机器人学国家重点实验室像素矩阵•像素：内嵌放大器•BayerFilterPattern中国科学院沈阳自动化研究所机器人学国家重点实验室模拟信号处理单元•AWC：自动白平衡控制•AGC：自动增益控制•ADC：模拟到数字的转换中国科学院沈阳自动化研究所机器人学国家重点实验室数字信号处理单元•边缘增强•颜色空间转换(RGB-YUV)•减少颜色串扰•色调和饱和度控制•白/黑像素校正•抗噪声•镜头阴影校正•伽马校正中国科学院沈阳自动化研究所机器人学国家重点实验室内嵌微控制器内嵌的MCU根据相应的寄存器值，自动完成上述的模拟和数字转换功能，只需要外部提供时钟和电源即可。中国科学院沈阳自动化研究所机器人学国家重点实验室寄存器控制接口•OV:SCCB(串行相机控制总线)•Micron:两线串行接口•包括时钟线和数据线，类似于I2C，有专门的控制协议，完成对CMOS中寄存器的读操作和写操作中国科学院沈阳自动化研究所机器人学国家重点实验室数据输出端口•并口方式包括数据线和数据同步线(帧同步，行同步，像素时钟)•串口方式包括数据读取线(时钟和数据)和数据写入线(时钟和数据)中国科学院沈阳自动化研究所机器人学国家重点实验室CMOS图像传感器•CMOS工艺•CMOS传感器介绍•CMOS和CCD•CMOS的结构•JPEG压缩•主要CMOS厂商•CMOS中的图像处理中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG压缩JPEG全名是JointPhotographicExpertGroup，是由国际标准组织(ISO)和国际电话电报咨询委员会所(CCITT)建立的一种数字影像压缩标准。完成于1992年，适用于一般连续色调、多级灰阶、彩色或黑白静止图像压缩，且在医学上应用广泛。中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG压缩JPEG定义了两种算法：1.基于DCT的有失真压缩算法包括基本系统(Baseline)和扩展系统2.基于DPCM的无失真压缩算法中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG压缩中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG压缩1.色彩空间转换(RGB-YUV)2.离散余弦变换(DCT)3.量化4.Z字型编码5.差分脉冲编码(DPCM)6.游程长度编码(RLE)7.熵编码中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG第一步：色彩空间转换•RGB是最常见的色彩空间，R、G、B三原色合成其他的颜色•YUV是一种基本色彩空间，被PAL，NSTC和SECAM用于复合色彩视频标准。Y表示亮度(灰度值)，U、V表示色调，描述图像色彩及饱和度的属性。•YCbCr其实是YUV经过缩放和偏移的改动版，应用于JPEG、MPEG。Y表示亮度，Cr、Cb表示色彩，和UV表示不同。中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG第一步：色彩空间转换•亮度Y和色彩UV人眼对亮度改变的敏感性远比对色彩变化大很多，因此Y分量要比UV分量重要得多•YUV通常的格式：YUV4:4:44:2:24:2:04:1:1中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG第一步：色彩空间转换RGB和YUV色彩空间的转换：中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG第二步：DCT•DCT把图像数据从空间域的波形数据转换成频率域的一组系数，为频域对图像做处理做好准备•变换的基本单位是8x8系数组成的方块•DCT是无损变换，只要变化的计算精度足够高，那么原始像素经过IDCT精确恢复中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG第二步：DCT二维DCT变换的数学公式：公式中：中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG第二步：DCT8x8原始数据：中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG第二步：DCTDCT变换后：中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG第二步：DCT二维DCT变换的逆变换公式：公式中：中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG第二步：DCTDCT反变换后：中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG第三步：量化量化是指在不引起明显视觉效果失真的前提下，对图像数据实行部分抛弃(主要是AC部分)，实现数据的大幅减少所以，量化是图像质量下降的最重要原因中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG第三步：量化JPEG标准采用线性均匀量化器：对64个DCT变换系数，除以对应的量化步长，然后四舍五入取整。公式如下：其中，Y(u,v)表示DCT变换系数S(u,v)表示量化步长中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG第三步：量化由于人眼对亮度的敏感度比对色差信号更高，所以采用两种量化表。标准亮度量化表标准色差量化表中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG第四步：Z字型编码量化后的系数含有大量的零值系数，位增加连续零值的个数，需按Z字型编码中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG第五步：差分脉冲编码经过DCT变换之后，DC系数的特点：1.数值比较大，2.相邻的8x8系数值相差不大所以采用差分脉冲编码调制(DPCM)对量化DC系数进行编码中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG第六步：游程长度编码经过Z字型编码后，AC系数的特点1.含有很多0值系数2.很多0值都是连续的采用游程长度编码(RLE)对AC系数进行编码方法：使用1个字节的高4位表示连续0的个数，使用低4位表示下一个非0系数所需要的位数中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG第七步：熵编码•对DC和AC系数分别采用不同的编码后，进一步采用Huffman编码减少熵，进一步压缩•优点：对出现频率比较高的符号分配短的码字，对出现频率比较低的符号分配比较长的码字。码表可以事先定义中国科学院沈阳自动化研究所机器人学国家重点实验室JPEG第七步：熵编码Huffman编码步骤：1.统计每个符号出现的频率2.按从小到大的规律把上述频率进行排序3.对出现频率最小的两个值分别制定为0和1然后将这两个频率相加，再次排序4.得到Huffman树，就可以得到Huffman表中国科学院沈阳自动化研究所机器人学国家重点实验室CMOS图像传感器•CMOS工艺•CMOS传感器介绍•CMOS和CCD•CMOS的结构•JPEG压缩•主要CMOS厂商•CMOS中的图像处理中国科学院沈阳自动化研究所机器人学国家重点实验室主要CMOS厂商•Micron(AptinaImaging)•OmniVision•Agilent•Sony•Photobit中国科学院沈阳自动化研究所机器人学国家重点实验室CMOS图像传感器•CMOS工艺•CMOS传感器介绍•CMOS和CCD•CMOS的结构•JPEG压缩•主要CMOS厂商•CMOS中的图像处理中国科学院沈阳自动化研究所机器人学国家重点实验室CMOS中的图像处理•AWB：自动白平衡•AE：自动曝光•AF：自动对焦•AS：防颤抖•镜头阴影校正•图像噪点校正•颜色校正•孔径校正•伽马校正