网络视频技术基础课件

网络视频技术基础一次连接多场景，就找获得场景视频——HUODESCENE---产品研发中心栗伟图像•为了定量的描述颜色对人眼的视觉作用，选用亮度、色调、色饱和度作为颜色的3个基本属性。•亮度是指人眼感觉光的明暗程度。光的能量越大，亮度越大。•色调是彩色最重要的属性，决定颜色的本质，如红、橙、黄。•饱和度是指颜色的深浅和浓淡程度，饱和度越高，颜色越深。饱和度的深浅和白色成反比，白色成分越多，饱和度越低RGB三原色•任何一种彩色都可以由三种基本彩色光混合产生，任一种彩色都可以分解为三种基色。•将三基色按不同比例合成可以引起不同的彩色感觉。合成彩色的亮度由三基色之和决定；而色度（色调和饱和度）由三基色之比例决定。•三个基色必须是独立的。一般用红、绿、蓝作三基色彩色图像•每种基色的取值范围是0—255•因此可组合成1677.7(256*256*256)万种不同的颜色，常见的7种颜色及其对应的R，G，B值见表：颜色名R值G值B值红25500绿02550蓝00255白255255255黑000青0255255品红2550255黄2552550RGB与YUV•YUV则是亮度Y(灰度值)、色差信号U和V。通常情况下图像和视频压缩存储采用的是YUV格式•YCbCr是YUV经过缩放和偏移后的变种格式。YCbCr其中Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。JPEG、MPEG均采用此格式。•RGB和YUV可以相互转换，对于图像显示器来说，它是通过RGB来显示图像。而在传输图像数据时使用YUV，因为YUV便于压缩编码，可以节省带宽。所以就需要采集图像时将RGB转换到YUV，显示时再将YUV转换为RGB。•YUV和RGB的转换:•Y=0.299R+0.587G+0.114B•U=-0.1687R-0.3313G+0.5B+128•V=0.5R-0.4187G-0.0813B+128•R=Y+1.402(V-128)•G=Y-0.34414(U-128)-0.71414(V-128)•B=Y+1.772(U-128)像素（Pixel）•像素是指由图像的小方格组成的，可以将像素视为整个图像中不可分割的最小单位。•像素仅仅只是分辨率的尺寸单位，而不是画质。•一个像素所能表达的不同颜色数取决于比特每像素(BPP)。这个最大数可以通过取二的色彩深度次幂来得到。例如，常见的取值有：•8bpp[2^8=256；(256色)]；•16bpp[2^16=65536；（65,536色，称为高彩色）]；•24bpp[2^24=16777216；(16,777,216色，称为真彩色）]；像素与字节（Byte）•如果是非黑即白的二值图像，不压缩情况下，一个像素只需要1个bit，显然，1和0两种状态，分别对应黑和白。•如果是256种状态的灰度图像，不压缩的情况下一个像素需要8bit（1字节，256种状态）。•如果用256种状态标识屏幕上某种颜色的灰度，而屏幕采用三基色红绿蓝（RGB），不压缩的情况下一个像素需要占用24bit（3字节），这个就是常说的24位真彩色。•还有各种其他的存储方式，例如15bit、16bit、32bit。•如果考虑到压缩，区别是有损压缩还是无损压缩，具体采用哪种压缩算法，会影响到一个像素占用的存储空间。回顾竞赛•分组竞赛，每轮每组依次同时派出不同的选手作答•每答对一题获得一分积分，最后积分最多组获胜回顾竞赛•1、填空题：为了定量的描述颜色对人眼的视觉作用，选用（）、（）、（）作为颜色的3个基本属性。回顾竞赛2、判断题：任何一种彩色都可以由三种基本彩色光混合产生，任一种彩色都可以分解为三种基色？回顾竞赛•3、简答题：红绿蓝对应的RGB值各是什么？回顾竞赛•4、计算题：每种基色的取值范围是0—255，因此可组合成（）万种不同的颜色？计算公式是？回顾竞赛•5、选择题：通常情况下图像和视频压缩存储采用的是YUV格式还是RGB格式？回顾竞赛6、判断题：像素仅仅只是分辨率的尺寸单位，而不是画质？回顾竞赛•7.计算题：•屏幕采用三基色红绿蓝（RGB），不压缩的情况下一个像素需要占用多少字节？回顾竞赛•8判断题：从显示器采集图像是，采集的是YUV格式的数据回顾竞赛•9、简答题：YUV格式的Y指的是什么？回顾竞赛•10、判断题：YCbCr格式与RGB不能相互转换分辨率（Resolution）•一张图像有多少像素，称为这个图像的分辨率。视频的分辨率就是每一帧图像的分辨率，用水平像素×垂直像素来表示。•以分辨率为1024×768的屏幕来说，即每一条水平线上包含有1024个像素点，共有768条线，即扫描列数为1024列，行数为768行。•分辨率越高，像素的数目越多，感应到的图像越精密。而在屏幕尺寸一样的情况下，分辨率越高，显示效果就越精细和细腻。逐行扫描与隔行扫描•逐行扫描就是顺序显示第一行，第二行……第五十行•隔行扫描就是先显示第一行，然后显示第三行，第五行……第四十九行，然后再显示第二行，第四行……第五十行•逐行扫描用P代指（Progressive）逐行的意思，如720P,1080P等•隔行扫描用I代指（Interlaced）隔行的意思，如720I，1080I等常见显示格式显示格式分辨率像素（万）720P1280×720921080P1920×10802004K4096×21608848K7680x43203317帧率（FrameRate）•帧是指一幅静态的图像。•快速改变连续的图像，人眼就看到了连续变化的视频。•帧率是指每秒呈现的连续图像数量。•当帧率大于24fps（framespersecond）时，人眼看到的是连续的视频画面。•高的帧率可以得到更流畅、更逼真的图像。将性能提升至60fps则可以明显提升交互感和逼真感，但是一般来说超过75fps就不容易察觉到有明显的流畅度提升了。•如果帧率超过屏幕刷新率只会浪费图形处理的能力，因为监视器不能以这么快的速度更新，这样超过刷新率的帧率就浪费掉了。码率（Bitrate）•视频码率是视频数据每秒输出的位数。单位是kbps。•一般来说，码率越高越清晰，就越接近原始视频内容。•编码格式重视的是如何用最低的码率达到最少的失真，围绕这个核心衍生出来cbr（固定码率）与vbr（可变码率）。•cbr（ConstantsBitRate）-比特率在流的进行过程中基本保持恒定并且接近目标比特率•vbr（VariableBitrate）动态比特率。也就是没有固定的比特率，压缩软件在压缩时根据音频数据即时确定使用什么比特率，这是以质量为前提兼顾文件大小的方式•计算公式•基本的算法是：码率(kbps)=文件大小/时长视频质量参数•视频质量受到码率、分辨率、帧率的综合影响•MP4封装的H.264格式建议码率见表：NameResolutionLinkBitrateVideoAudio(Mbps)(Mbps)(kbps)(kbps)240p424x24010.6457664360p640x3601.50.9689664432p768x4321.81.15108864480p848x48021.28121664480pHQ848x4802.51.6153664576p1024x57631.92185664576pHQ1024x5763.52.24217664720p1280x72042.56249664720pHQ1280x72053.230721281080p1920x108085.1249921281080pHQ1920x1080127.6875521281080pSuperbit1920x1080N/A20.3220000320HD1920x1080提高视频质量•分辨率高，视频质量一定好吗？•提高视频质量•视频源质量。好的采集设备，设置合理的分辨率、码率、帧率•视频采集。好的采集设备可以完整保留视频源的质量•视频编码。比如H264就比之前的H263效率高；编码器先进，参数设置的比较合理，编码器各种高端参数全开（通常以编码时间作为代价），码率效率就高。•视频传输。网络带宽是否满足视频码率要求？网络是否有丢包？•观众的播放条件。观看设备性能是否能够满足播放要求？显示设备是否能够完整显示视频画质？回顾竞赛•分组竞赛，每轮每组依次同时派出不同的选手作答•每答对一题获得一分积分，最后积分最多组获胜回顾竞赛•11、名词解释：分辨率回顾竞赛•12、1080P和1080I的区别是什么？回顾竞赛•13、名词解释：帧率回顾竞赛•14、填空题：当帧率大于（）fps时，人眼看到的是连续的视频画面？回顾竞赛•15、名词解释：视频码率回顾竞赛•16、名词解释：CBR/VBR回顾竞赛•17、一个300MB的视频文件，时长是60分钟，估算码率是多少？回顾竞赛•18、填空题：视频质量受到（）、（）、（）的综合影响。回顾竞赛•19、简答题：分辨率高，视频质量一定好吗？为什么？回顾竞赛•20、简答题：如何提高视频质量？为什么要压缩视频？•一张640*480真彩（24位）图像的大小：•640×480×24＝7372800(bit)•以这样的图像构成视频，以每秒钟30帧的速度播放，所需传输率为：•7372800×30＝221184000(b/s)≈211Mbps图像中的冗余•编码冗余•像素间冗余•视觉冗余去除数据冗余的方法•预测编码•用于去除空间冗余•通过预测估计去除空间过采样带来的冗余•用周边的像素点来预测当前的像素点的数值。•变换编码•用于去除空间冗余•将空间域图像信号变换到频率域，纠正空间域上均匀采样的不合理性。•去除视觉冗余，省略过分精细的高频分量。•时域预测编码•用于去除时间冗余•运动补偿预测•用于去除时间冗余•熵编码•用于去除空间冗余•帧间预测编码•前向预测•双向预测前一帧当前帧前一帧当前帧下一帧帧间预测编码•帧间预测编码•I帧•I帧（Iframe）表示关键帧，又称为内部画面(intrapicture)，I帧通常是每个GOP（MPEG所使用的一种视频压缩技术）的第一个帧，经过适度地压缩，做为随机访问的参考点•I帧可以单独重构完整图像，不需要参考其他帧。•不进行帧间预测、进行帧内编码的编码帧（参考帧）•B帧•根据相邻的前一帧、本帧以及后一帧数据的不同点来压缩本帧，也即仅记录本帧与前后帧的差值。只有采用B帧压缩才能达到200：1的高压缩。一般地，I帧压缩效率最低，P帧较高，B帧最高。•P帧•P帧法是根据本帧与相邻的前一帧（I帧或P帧）的不同点来压缩本帧数据。•通过向前预测得到的误差编码帧。I/B/P帧GOP•GOP（Groupofpictures）由一张I帧和数张B/P帧组成，是视频图像编码器和解码器存取的基本单位。I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧。•关键帧个数可改善画质（GOP通常为FPS的倍数），但是同时增加了带宽和网络负载。•在服务器端缓存上一个GOP，这样播放器与服务器建立连接后可以立即拿到关键帧数据，从而实现直播视频秒开回顾竞赛•分组竞赛，每轮每组依次同时派出不同的选手作答•每答对一题获得一分积分，最后积分最多组获胜回顾竞赛•21、简答题：为什么要压缩视频？回顾竞赛•22、计算题：•一张640*480真彩（24位）图像，以这样的图像构成视频，以每秒钟30帧的速度播放，不压缩的情况下，所需传输率为？回顾竞赛23、简答题：去除数据冗余的方法？回顾竞赛•24、名词解释：I帧回顾竞赛•25、名词解释：GOP常见音视频编码格式•将视频像素数据压缩成视频码流，降低数据量名称类型机构推出时间AV1视频AOM2017HEVC（H.265)视频MPEG/ITU-T2013H.264视频MPEG/ITU-T2003MPEG4视频MPEG2001VP9视频Google2013VP8视频Google2008AAC音频MPEG1997MP3音频MPEG1993WMA音频Microsoft1999*MPEG-国际标准组织机构下属的运动图像专家组*ITU-国际电信联盟*AOM-开放媒体联盟常见视频封装格式•音视频码流按照一定的格式存储在文件中。名称机构