中国音视频编码标准AVS.

1中国音视频编码标准AVS2中国出口彩电的美国数字电视标准事件(2.5美元/台)2008年2010年9000亿元15000亿元视音频产业预测年产值2007年2006年2002年……5000亿元中国为什么要制定标准？•数字视音频产业群大而不强–大陆DVD、机顶盒、MP3、电视机产量均居世界首位，年产量超过2亿台；数字视音频产业已经成为我国电子信息产业的主体–但是，相关产业的年平均利润率从2005年的3.4%向负利润滑坡•视音频编码是所有视音频产业的共性核心技术，最容易受到攻击–大陆企业视听终端产品企业需支付专利费约40亿/年，十年回溯将达400亿–由于专利费事件，我国已经没有自主品牌的DVD产业–若采用新的国际标准(H.264)，则我国运营商每年还将支付约200亿DVD专利事件(2.5美元/台)MP3专利事件(0.75美元/台)出口欧洲的机顶盒MPEG-2专利费事件(2.5美元/台)3标准、专利、专利池标准化必要技术要求可选技术要求未标准化的增强型技术核心专利非核心专利专利池必要性互补性流出机制研究开发联合授权单独授权产品生产制造专利技术秘密（know-how）公开技术4MPEG标准的专利池•1991：MPEG-1–无专利收费问题•1994：MPEG-2–托起DVD、数字电视产业，获得Emmy奖–2.5美元/台终端•1999：MPEG-4SP(Part2)–设备0.25美元，按时间交费（例：2美分/小时，每年100多元)–遭到AOL-TimesWarner反对•2003：H.264/MPEG-4AVC(Part10)–2003.11.17政策出台：按节目收费(每点播一个节目2美分）–遭到EBU(欧广联)反对（2003第96号声明）–2004.05.20政策定案，基本上没有变化5编解码器制造商按订户收按节目数收网络广播免费电视付费节目发行/运营不直接收费的运营商AVC/H.264许可概要制造商6MPEG专利池的深层原因•当前国际标准和知识产权的“割裂三段论”标准制定→RAND→专利池→收费政策→产品/服务•ISO知识产权政策:–RAND(合理非歧视原则)–什么价格是合理?•结果：RAND为很多不太必要的专利打开了标准大门–一些专利权人等着从标准渠道谋取暴利或待价而沽–建立专利池越来越难–专利池定价越来越难–工业界不敢采用专利许可政策不清晰的标准7DataMiningonPatentsinMPEGLAPatentPool@Nov.0120088AVS视频标准框架(2004)熵编码反量化反变换运动补偿预测控制数据量化后的变换系数运动数据帧内/帧间编码控制解码器运动估计变换/量化-0环滤波帧内预测99EntropyCodingInvQuant/InvTransformMotion-CompensationControlDatacoeffsMotionDataIntra/InterCoderControlMotionEstimationTransform/Quant-InputVideoSignalSplitintoMacroblocks16x16pixelsIntra-framePredictionDe-blockingFilterOutputVideoSignalAVS1-P2Diagram10AVS视频标准工具集•双向预测•隔行编码•运动矢量预测•子像素插值•多参考帧预测•可变块大小预测•帧内预测•变换和量化•熵编码•环路滤波•缓冲区管理•其它–图像组头–防伪起始码–码流顺序–时间参考索引11AVS变换量化TransformTRowTransformY’=XTAbabababababababaxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxYYYY44434241343332312423222114131211444342413433323124232221141312114321''''''''''''''''1121211121111121''''a=sqrt(8),b=sqrt(10);ColTransformY=TY’babababababababayyyyyyyyyyyyyyyybbbbaaaabbbbaaaayyyyyyyyyyyyyyyyYYYY4443424134333231242322211413121144434241343332312423222114131211''''''''''''''''1221111121121111432112AVS变换矩阵AVS8x8变换2-69-1010-96-2410-104-4-1010-46-102-9-9210-688-8-888-8-89-21066-10-2-91044-10-10-4-41010-9-6-2-269108888888813AVS变换量化Quantizationforfirstclass8x86x8quantization/dequantizationtableisusedtodonormalization:7,57,47,37,27,17,06,56,46,36,26,16,05,55,45,35,25,15,04,54,44,34,24,14,03,53,43,33,23,13,02,52,42,32,22,12,01,51,41,31,21,11,00,50,40,30,20,10,0QQQQQQ7QQQQQQ6QQQQQQ5QQQQQQ4QQQQQQ3QQQQQQ2QQQQQQ1QQQQQQ0bcacabccbbaaQP%87,57,47,37,27,17,06,56,46,36,26,16,05,55,45,35,25,15,04,54,44,34,24,14,03,53,43,33,23,13,02,52,42,32,22,12,01,51,41,31,21,11,00,50,40,30,20,10,0DQDQDQDQDQDQ7DQDQDQDQDQDQ6DQDQDQDQDQDQ5DQDQDQDQDQDQ4DQDQDQDQDQDQ3DQDQDQDQDQDQ2DQDQDQDQDQDQ1DQDQDQDQDQDQ0bcacabccbbaaQP%8Note:Qi,j*DQi,j*S[j]^2=2^bits.Qi,,j=Qi+1,,j*2^(1/8)（返回）14AVS创新举例：变换量化-老树新花•技术发展历史–很早以前就用于去除空间冗余的目的–8x8整数变换•JVT发展过程中曾采用8x8的整数正交变换•更早的标准都是基于DCT的•AVS专利策略–采用自主或公开发表的技术–改进实现方式–专利申请•浙大和长信嘉分别有若干项专利申请2-69-1010-96-2410-104-4-1010-46-102-9-9210-688-8-888-8-89-21066-10-2-91044-10-10-4-41010-9-6-2-269108888888815AVS帧内预测模式亮度：5种预测模式色度：4种预测模式r12145620310151181697141312151413121191087654316c0143316AVS帧间预测模式001012316x1616x88x168x88x88x44x80011001234x410MB-Modes8x8-ModesAVS宏块划分模式：运动矢量预测：编码当前块的差分运动矢量MVDE=MVE-PMVEBCAED17AVS帧间预测新的滤波方案对半像素使用4拍滤波，代替AVC的6拍滤波半像素插值:（-1/8，5/8，5/8，-1/8）1/4像素插值:（1/16，7/16，7/16，1/16）色度采用1/8双线型插值Aa1bBcdef2h3i4jklmC5D18AVS帧间预测AVS新型的双向预测模式:Symmetricmode只编码一个前向运动矢量，后向运动矢量根据帧间距离推导得出在两个方向同时搜索得到最优的运动矢量.BMV=-FMV*d2/d1BPPd1d2FMVBMV19AVS帧间预测特殊编码模式Skipmode:用预测运动矢量，无残差系数Directmode:B帧中无向量编码模式20双向预测编码•涉及到的主要专利（15项）–最早由JVC和Sony公司注册–专利持有人•Sony,Matsushita,AT&T,JVC,ColumbiaUniv.,Toshiba,Telenor–涉及内容•直接的运动补偿•传送预测残差的运动补偿•传送预测残差与运动矢量的运动补偿•帧或宏块用四种模式进行编码•差分运动矢量，双基预测，PB帧，direct模式21双向预测编码•技术发展历史–发展源于视频会议系统中的丢帧或跳帧实现–存在更早的公开技术•直接内插技术（Jain&Jain，1979年）•后向预测技术（Hinman论文，BBC技术报告，1984年）•基于运动补偿的内插、传输预测误差，但不传输运动矢量（Roos，1984年）•AVS专利策略–AVS可以使用直接编码模式：有公开技术–AVS可以使用后向预测模式：有公开技术–AVS摒弃双向预测模式：有专利问题•为补偿编码效率，采用对称预测模式（计算所提案）–AVS还采用了其它技术，用于改进编码性能（计算所提案）22AVS创新举例：帧间预测•新型的双向预测模式:对称模式(Symmetricmode)只编码一个前向运动矢量，后向运动矢量根据帧间距离推导得出在两个方向同时搜索得到最优的运动矢量.•BMV=-FMV*d2/d1BPPd1d2FMVBMV23双向预测编码•AVS专利情况–自主技术+过期专利+公开技术–专利申请4项03157077.1一种用于视频编码的编码端/解码端双向预测方法中科院计算所2003.9.12直接编码模式下确定参考图像块的方法中科院计算所申请中一种参考图像缓冲区管理方法中科院计算所申请中固定参考帧数编码方式下获取图像参考块的方法中科院计算所申请中24主要技术对比列表编码工具AVSH.264MPEG-2帧内预测基于8x8块，5种亮度预测模式，4种色度预测模式基于4x4块，9种亮度预测模式，4种色度预测模式只在频域内进行DC系数差分预测多参考帧预测最多2帧最多16帧只有1帧变块大小运动补偿16x16,16x8,8x168x816x16,16x8,8x168x8,8x4,4x8,4x416x16,16x8(场编码)B帧宏块直接编码模式时域空域相结合，当时域内后向参考帧中用于导出运动矢量的块为帧内编码时，使用空域相邻块的运动矢量进行预测独立的空域或时域预测模式，若后向参考帧中用于导出运动矢量的块为帧内编码时只是视其运动矢量为0，依然用于预测无B帧宏块双向预测模式称为对称预测模式，只编码一个前向运动矢量，后向运动矢量由前向导出编码前后两个运动矢量编码前后两个运动矢量25主要技术对比列表-续编码工具AVSH.264MPEG-2¼像素运动补偿½像素位置采用4拍滤波¼像素位置采用4拍滤波、线性插值½像素位置采用6拍滤波¼像素位置线性插值仅在半像素位置进行双线性插值变换与量化8x8整数变换，编码端进行变换归一化，量化与变换归一化相结合，通过乘法、移位实现4x4整数变换，编解码端都需要归一化，量化与变换归一化相结合，通过乘法、移位实现8x8浮点DCT变换，除法量化熵编码适应性2DVLC,编码块系数过程中进行多码表切换CAVLC：与周围块相关性高，实现较复杂CAB