使用FPGA实现视频和图像处理设计

©2007AlteraCorporation推动创新：使用FPGA实现视频和图像处理设计吴继华ChannelFAEManager,S.ChinaAlteraInternationalLtd.,[e-mail]2©2007AlteraCorporationAltera,Stratix,Cyclone,MAX,HardCopy,Nios,Quartus,andMegaCorearetrademarksofAlteraCorporation议程议程视频和图像处理的发展趋势Altera视频和图像处理包基于模型的设计设计实例现在就开始设计总结Q&A3©2007AlteraCorporationAltera,Stratix,Cyclone,MAX,HardCopy,Nios,Quartus,andMegaCorearetrademarksofAlteraCorporationFPGA视频和图像FPGA视频和图像HDTV视频会议HDTV显示保密DVR医疗成像消费类/自动显示记录成像军事成像广播基础设施HD安防摄像头4©2007AlteraCorporationAltera,Stratix,Cyclone,MAX,HardCopy,Nios,Quartus,andMegaCorearetrademarksofAlteraCorporation视频和图像处理的关键发展趋势视频和图像处理的关键发展趋势分辨率1,920x1,080:LCD、等离子体、投影仪和DLPTV全HD1080p1,280x720:视频监视、视频会议3,000x3,000(以及更高):医疗成像、军事和机器视觉4,096x1,714:数字影院图像质量专业图像引擎：SonyBravia或者VEGA、SamsungDNIe、SharpAQUOS、LGXD、PhilipsPixelplus3等上转换：SDtoHD双帧速率转换：50/60fps-100/120fps更快的刷新速率:在3D动画和游戏的推动下颜色深度增强更高的对比度压缩H.264,AVS.JPEG2000,VC1带宽IPTV和家庭联网xDSL,VDSL,内容HD广播、蓝光光碟（Blu-ray）、HD-DVD、EVD5©2007AlteraCorporationAltera,Stratix,Cyclone,MAX,HardCopy,Nios,Quartus,andMegaCorearetrademarksofAlteraCorporation而目前的解决方案…而目前的解决方案…没有针对目标应用进行优化，有过时的风险在单个器件中无法实现更高清晰度开发成本高，无法跟上实际应用的迅速发展视频/图像ASSPDSPASIC6©2007AlteraCorporationAltera,Stratix,Cyclone,MAX,HardCopy,Nios,Quartus,andMegaCorearetrademarksofAlteraCorporationAltera的FPGA解决方案Altera的FPGA解决方案单个器件中更好的性能(单芯片种实现H.264高清编码)更迅速面市容易进行更新开发成本低不会过时大批量时，单价更低(FPGA,HardCopy)7©2007AlteraCorporationAltera,Stratix,Cyclone,MAX,HardCopy,Nios,Quartus,andMegaCorearetrademarksofAlteraCorporation视频应用成本基准测试视频应用成本基准测试1.002.003.004.005.006.007.00成本以FPGA为参照FPGAHardCopy®II仅DSP7x72D滤波器720P7x72D中值滤波器720PH.264BP编码器720PH.264BP编码器1,024x76816路H.264BP编码器CIF4路H.264BP编码器D1H.264MP编码器D1H.264MP编码器1080iJPEG2000编码器D18©2007AlteraCorporationAltera,Stratix,Cyclone,MAX,HardCopy,Nios,Quartus,andMegaCorearetrademarksofAlteraCorporation视频参考设计Altera视频和图像处理解决方案简介Altera视频和图像处理解决方案简介MATLAB/SimulinkDSPBuilderSynplicityVHDL/Verilog（传统方法）C语言至硬件MentorCeloxicaSOPCBuilder,VHDL/VerilogDSP算法设计流程系统集成Cyclone®II,Stratix®II,HardCopyII器件和开发套件Altera®基础处理功能第三方压缩和处理功能Altera和第三方视频接口IP知识产权(IP)9©2007AlteraCorporationAltera,Stratix,Cyclone,MAX,HardCopy,Nios,Quartus,andMegaCorearetrademarksofAlteraCorporationIP实例–视频IP实例–视频PCIExpressSerialRapidI/OEMIF接口ASISDIATAHDD(Nuvation)MPEG2传送10/100/1000以太网DDR/DDR2控制器I/O和系统I/O和系统H.264MP,HP(ATEME)H.264BP(4i2i,CAST,W&W)H.264CABAC/CAVLC(ATEME)H.264环路滤波(ATEME)MPEG4SP/ASP(CAST,Barco)JPEG(CAST,Barco)JPEG2000(CAST,Barco,Broadmotion)压缩压缩Scaler去隔行2DFIR滤波2D中值滤波色彩空间转换Chroma二次采样Gamma校正Alpha混合行缓存质量最好的HDTV上转换(LetItWave)AES/DES/Sha-1加密(CAST)预处理/后处理预处理/后处理Altera视频和图像处理包10©2007AlteraCorporationAltera,Stratix,Cyclone,MAX,HardCopy,Nios,Quartus,andMegaCorearetrademarksofAlteraCorporationHDTV上转换–LetItWaveHDTV上转换–LetItWave采用突破性超级分辨率Bandlet技术实现HDTV上转换广播设备在性价比最好的AlteraFPGA上实现上转换主要特性标准清晰度(SD)至高清晰度(HD)，达到1080P2帧延迟颜色转换每象素自动电影模式和节奏探测高宽比转换其他特性交叉转换720P至1080IHD至SD下转换视频增强提供电路板参考设计©2007AlteraCorporationAltera视频和图像处理包12©2007AlteraCorporationAltera,Stratix,Cyclone,MAX,HardCopy,Nios,Quartus,andMegaCorearetrademarksofAlteraCorporationAltera视频和图像处理包Altera视频和图像处理包IP基础组件（包括9个IP）支持标准接口和协议，用户可以轻松地加入自己的专用算法针对AlteraFPGA进行了优化适合任何设计流程RTL、基于模型的设计、基于C语言的设计13©2007AlteraCorporationAltera,Stratix,Cyclone,MAX,HardCopy,Nios,Quartus,andMegaCorearetrademarksofAlteraCorporation视频和图像处理包视频和图像处理包将图像行缓存高效映射至Altera片内存储器行缓存编译器将每一象素值以邻近象素值的平均值来替代，进行3x3、5x5或者7x7滤波，去掉图像中的噪声2D中值滤波对图像数据流进行3x3、5x5或者7x7有限冲击响应(FIR)滤波，以平滑或者尖锐图像2D滤波改变图像帧chroma数据的采样率Chroma二次采样混合和合成多种图像流，包括画中画(PIP)Alpha混合在色彩空间中进行gamma校正Gamma校正缩放和剪辑图像帧Scaler在各种色彩空间之间转换图像数据色彩空间转换将隔行视频格式转化为连续视频格式去隔行功能内核14©2007AlteraCorporationAltera,Stratix,Cyclone,MAX,HardCopy,Nios,Quartus,andMegaCorearetrademarksofAlteraCorporation2D滤波2D滤波2DFIR滤波和2D中值滤波3x3、5x5或者7x7滤波器适用于降低噪声和平滑滤波器支持对称优化，节省乘法资源15©2007AlteraCorporationAltera,Stratix,Cyclone,MAX,HardCopy,Nios,Quartus,andMegaCorearetrademarksofAlteraCorporation色彩格式转换色彩格式转换以三种不同的内核提供色彩空间转换Chroma二次采样（重采样）Gamma校正支持RGB(计算机和演播室格式)YIQ/YUV(NTSC,PAL,SECAM)YCbCr(4:4:4,4:2:2,4:2:0)16©2007AlteraCorporationAltera,Stratix,Cyclone,MAX,HardCopy,Nios,Quartus,andMegaCorearetrademarksofAlteraCorporation图像混合以及画中画合成图像混合以及画中画合成多层混合(2至8层)每象素alpha混合画中画定位运行控制17©2007AlteraCorporationAltera,Stratix,Cyclone,MAX,HardCopy,Nios,Quartus,andMegaCorearetrademarksofAlteraCorporation缩放缩放D1/SDTV:720x480HDTV1080p:1920x1080图像缩放3种算法：最邻近、双线性滤波、双3次插值剪辑18©2007AlteraCorporationAltera,Stratix,Cyclone,MAX,HardCopy,Nios,Quartus,andMegaCorearetrademarksofAlteraCorporation“编织”–2区“倍行”–1区TT+1/2倍行TT+1/2编织去隔行去隔行“倍行法（Bob）”和“编织法（Weave）”支持:1stRelease运动自适应:1stRelease“Weave”forStillAreasofthePicture,“Bob”forAreasofMotion运动补偿AvailableinFutureRelease19©2007AlteraCorporationAltera,Stratix,Cyclone,MAX,HardCopy,Nios,Quartus,andMegaCorearetrademarksofAlteraCorporation行缓冲编译器行缓冲编译器提供行缓冲，可以有效地使用FPGA内部存储器针对典型的SD和HD分辨率进行了优化每一颜色平面任意比特数选择线长度、宽度，以及线数量©2007AlteraCorporation基于模型的设计（Matlab/Simulink+DSPBuilder）21©2007AlteraCorporationAltera,Stratix,Cyclone,MAX,HardCopy,Nios,Quartus,andMegaCorearetrademarksofAlteraCo