XXXX英特尔开发者大会(北京)-Haswell中的媒体创新

下一代英特尔®微体系架构（代号Haswell）中的媒体创新GRAS002江宏博士英特尔院士，首席媒体架构师2议程•Haswell图形处理器概述•Haswell媒体创新–视频编解码器创新–视频和图像处理创新–功耗及优化–软件赋能下一代英特尔®微架构,代号Haswell本课程演示文稿（PDF）发布在技术课程目录网站:intel.com/go/idfsessionsBJ该网址同时打印于会议指南中专题讲座日程页的上方3议程下一代英特尔®微架构,代号Haswell•Haswell图形处理器概述•Haswell媒体创新–视频编解码器创新–视频和图像处理创新–功耗及优化–软件赋能4Haswell–重点2chDDR3LDisplay系统代理图形处理器CoresLLCDisplayPCIeI/ODisplayPortsDMIIMCPEG•第四代英特尔®酷睿™微处理器，采用22nm制程技术•下一代英特尔®高清显卡，支持微软*DirectX*11.1,OpenGL*4.0,以及OpenCL*1.2•3D和媒体性能有了显著提高•支持Display,HDMI,以及DisplayPort*三端口同时显示，分辨率可高达4Kx2KHaswell微架构下一代英特尔®微架构,代号Haswell5Haswell图形处理器架构Display系统代理图形处理器CoresLLCDisplayPCIeI/ODisplayPortsDMIIMCPEG顶点处理光栅化/Z像素操作多格式编解码器媒体处理显示命令流化器统一执行单元阵列指令缓存EUEUEUEUEUEU纹理取样器媒体取样器视频画质引擎下一代英特尔®微架构,代号Haswell6图形处理器架构的基本组成模块可扩展架构分为6个功能区域:1.全局资源:一直到”Setup”的几何前端2.共有条形模块:光栅化模块,L3缓存器(L3$)以及像素后端3.子条形模块:渲染器(EUs),指令缓存器(IC$)以及取样器–可扩展条形模块用于性能和Gflop调优–两个条形模块用于高端sku(GT3)4.多格式视频编解码器引擎(MFX)5.视频画质增强引擎6.显示模块为规模的扩大创造条件！！132456下一代英特尔®微架构,代号Haswell7顶点处理光栅化/Z多格式编解码器媒体处理显示命令流化器统一执行单元阵列指令缓存EUEUEUEUEUEU纹理取样器媒体取样器视频画质引擎图形处理器-媒体模块前端线程分发/管理:•支持混合内核和线程创建的线程•采用记分牌机制控制线程执行顺序针对媒体优化的执行单元:•零开销线程切换•固有的媒体指令集架构•面向向量/矩阵的操作多格式编解码器:•并行引擎•高性能•视频解码和编码视频画质引擎•视频处理•颜色处理像素操作媒体加速器下一代英特尔®微架构,代号Haswell8议程下一代英特尔®微架构,代号Haswell•Haswell图形处理器概述•Haswell媒体创新–视频编解码器创新–视频和图像处理创新–功耗及优化–软件赋能9低功耗解码引擎•高效的，功耗最优化的多格式编解码器引擎•扩展了第三代英特尔®酷睿™微处理器编解码器加速的成功，支持更多新的视频格式–固有的MVC“短格式”–MJPEG解码–SVC(可分级视频编码)硬件解码加速•支持大分辨率视频内容–支持4kx2k分辨率•提高了解码器的错误处理能力Haswell在第三代英特尔®酷睿™处理器支持AVC,VC1,以及MPEG2解码的基础上，增加了对SVC解码的支持顶点处理光栅化/Z像素处理多格式编解码器媒体处理显示命令流化器统一执行单元阵列指令缓存器EUEUEUEUEUEU纹理取样器媒体取样器视频画质引擎有了很大提高!下一代英特尔®微架构,代号Haswell104K的产业前景•4K生态系统正在形成–拍摄设备/照相机:RED*,JVC*,以及Sony*已经有4K相机–视频内容:来源于4K相机和摄像机–编解码器引擎：硬件支持4K视频内容的解码/编码–显示/显示器:多款显示器和投影仪支持4K•4K正逐渐成为主流–Sony最近宣布了QFHD/4K电视–YouTube*已支持4K视频–将来的更高压缩率的视频格式，例如HEVC，将进一步推动4K的使用–DisplayPort*1.2/HDMI2标准支持4K显示–MIPICSI标准于2013年支持4K传感器分辨率宽高比像素数(百万)4096x230416:9(1.77:1)9.44096x21601.89:18.83840x2160(QFHD)16:9(1.77:1)8.3•4K视频的分辨率是多少?–4K是指水平方向像素数约为4000的多个不同分辨率–一些常见的4K分辨率为:下一代英特尔®微架构,代号Haswell114K视频内容演示38402160英特尔产生的4K/QFHD演示视频！下一代英特尔®微架构,代号Haswell12Haswell对4K视频的支持•Haswell支持端到端的4K视频–编解码器:解码能力达到4Kx2K编码也支持4Kx2K–显示:DisplayPort*1.2上最高能达到3840x2160@60HzHDMI上最高能达到4096x2304@24Hz支持4k解码和显示的Haswell4k视频内容4k显示器下一代英特尔®微架构,代号Haswell13Haswell编码器•硬件加速提高了视频编码性能•继续改进了编码器的微架构，支持新的编解码格式–MPEG2编码–SVC编码器硬件加速•用于视频会议的更低延时编码•更高性能的英特尔®高速视频同步•可编程的，针对媒体优化的EU/取样器提高了视频编码质量更高性能和质量的Haswell编码器增加了对MPEG2和SVC的硬件支持下一代英特尔®微架构,代号Haswell14Mpeg2编码器:为什么关心?•虽然AVC/Mpeg4目前非常流行，但Mpeg2仍然会存在一段时间•Mpeg2视频内容主要来自于DVD以及视频广播•Mpeg2目前还被DLNA所支持•Haswell增加了Mpeg2编码功能–终端用户会受益于DVD创建时的低功耗编码下一代英特尔®微架构,代号Haswell15SVC:优势•可分级视频编码(SVC)是AVC标准的一个扩展，且后向兼容•SVC码流包含多个码流子集合，且在三个正交维度上可分级–时域可分级(帧率)–空域可分级(图像分辨率)–质量或SNR域可分级(图像质量和码率的渐进提高)•单一的视频内容可广播到不同类型的设备上(电视，个人电脑，平板电脑，以及智能手机)–与为不同设备传送不同内容的同时联播方案相比，SVC在功耗和存储方面都具有优势•使用SVC的好处–通过不同的设备进行多方视频会议–媒体流服务器下一代英特尔®微架构,代号Haswell16视频编码:产业界比较•英特尔采用了硬件/GPU混合的编码方案–提供了性能，功耗和灵活性之间的均衡•“ENC”对应于可编程EU阵列•“PAK”对应于MFX硬件管道•“ENC”和“PAK”可同时处理不同的帧，从而得到更高的编码性能混合的2-阶段视频编码器:运动估计帧内估计模式决策运动补偿帧内预测前向量化熵编码像素重建码率控制“ENC”“PAK”产业界编码方案性能功耗灵活性仅GPU低高高仅硬件高†低低混合方案(GPU+硬件)高均衡均衡†依赖于具体的实现下一代英特尔®微架构,代号Haswell17英特尔®高速视频同步•第三代英特尔®酷睿™微处理器的英特尔®高速视频同步已经超级快–可在几分钟内转码一段2小时的电影•Haswell进一步提高了高速视频同步的性能!性能一代代不断提高!英特尔®微架构Arrandale,SandyBridge,IvyBridge,以及下一代英特尔®微架构代号Haswell的性能测试中用到的软件和工作量可能针对英特尔微处理器进行了性能优化。性能测试，例如SYSmark*和MobileMark*，采用特定的计算机系统，组件，软件，操作和功能进行测量。以上任何因素的改变都可能导致测试结果的变化。您应该咨询一些其它信息和性能测试结果，包括该产品与其它产品联合使用的性能，以帮助您更全面的评估您要购买的产品。更多信息请参考媒体转码(1920x1080iMPEG2到640x360AVC)配置细节可参见附录18编码器质量的提高•质量的提高来自于多个硬件优化功能特征•灵活的knobs用于高质量调优•多种编码模式用于性能和质量的均衡-快速模式,普通模式以及质量模式英特尔®微架构,代号IvyBridge;下一代英特尔®微架构,代号Haswell19议程下一代英特尔®微架构,代号Haswell•Haswell图形处理器概述•Haswell媒体创新–视频编解码器创新–视频和图像处理创新–功耗及优化–软件赋能20高质量视频处理•最新设计的视频质量引擎(VQE)上的专用视频处理•Haswell支持大量的视频处理功能，包括:–降噪(DN)–解交织(DI)–电影模式检测(FMD)–肤色检测(STD)–肤色增强(STE)–总体颜色控制(TCC)–自适应对比度增强(ACE)–高级视频缩放(AVS)–色域压缩(GC)–色域扩展(GE)1–肤色调优的图像增强滤波器1–图像稳定(IS)11Haswell上的新功能顶点处理光栅化/Z像素操作多格式编解码器媒体处理显示命令流化器统一执行单元阵列指令缓存器EUEUEUEUEUEU纹理取样器媒体取样器视频画质引擎新模块!更高视频质量，更低功耗!下一代英特尔®微架构,代号Haswell21图像稳定•采用不稳定的或者晃动的相机拍摄的视频会有附加的视觉抖动和失真•图像稳定功能会消除视频中的抖动以得到平滑的视觉体验•通过全局运动估计，运动轨迹计算，运动轨迹平滑以及抖动补偿操作得到稳定的视频稳定的视频序列帧间全局运动估计运动轨迹计算运动轨迹平滑抖动补偿-++输入视频序列22色域扩展(GE)•窄色域视频内容在宽色域显示器上显示时会出现失真效果，例如过饱和以及颜色噪声•色域扩展功能可以保持色彩饱和度，提高视觉质量•Haswell采用了一种基于像素的将原始像素和改善后像素进行融合的自适应的色域扩展方法原始sRGB图像输出图像下一代英特尔®微架构,代号Haswell23肤色调优的图像增强滤波器•通过加强或弱化肤色像素来增强输入图像细节信息•采用内容自适应的方法达到细节增强的效果–分析当前像素的NxN邻域像素–计算当前像素的肤色似然度–根据其NxN邻域以及其肤色似然度的统计，调节增加到该像素的细节数量24肤色调优的图像增强滤波器–示例原始输入IEF输出IEF–肤色区域加强IEF–肤色区域平滑25议程下一代英特尔®微架构,代号Haswell•Haswell图形处理器概述•Haswell媒体创新–视频编解码器创新–视频和图像处理创新–功耗及优化–软件赋能26低功耗优化•22nm制程的低功耗优势•专用的高度优化的硬件引擎–每个引擎的延时和功耗都更低•图形处理器不同引擎间的并行度更高–更低的图形处理器（PG）总体活动性•GT3的条形模块功耗门控•更好更精细的DOP(下降点)时钟门控–根据单个EU的工作量需求进行电源关闭•SoC级的非核心和内存控制器的功耗改进–更大的改进用于基于Haswell的平台,ULT/ULX•优化的软件栈可更快的使整个包进入睡眠状态•从而提高了媒体工作任务的电池使用寿命视频回放时的图形处理器活动性,并发处理减少工作状态IvyBridgeHaswell英特尔®微架构,代号IvyBridge;下一代英特尔®微架构,代号Haswell27议程下一代英特尔®微架构,代号Haswell•Haswell图形处理器概述•Haswell媒体创新–视频编解码器创新–视频和图像处理创新–功耗及优化–软件赋能28针对视频的硬件加速用于优化的媒体应用开发的跨平台API英特尔®媒体SDK2013目前英特尔®凌动™处理器上的加速免费下载：intel.com/software/mediasdkH.264MPEG-2MJPEGMVC编码,解码和转码用于视频编辑,处理,媒体格式转换,流媒体,高效回