QCon北京郭再荣-移动端音视频应用优化之道

移动端音视频应用优化之道网易杭州研究院/郭再荣音视频技术专家背景音视频处理过程端到端优化策略总结背景网络带宽智能硬件市场需求视频门户、娱乐直播、游戏直播，在线教育、远程医疗，远程监控，企业协作，社交应用等各行业存在巨大需求。网络带宽的不断提速，同时网络资费相应地降低，视频上行和下行所需的带宽和流量已经达到要求。智能硬件设备的高速发展，机器性能越来越强劲，让移动端的视频应用井喷爆发，真正变得唾手可得。音视频处理过程（推流端）预处理编码采集音频，视频麦克风，摄像头，桌面。协议：RTMP，HLS，HTTP，RTP发送降噪，回声抑制，混音美颜滤镜，水印。H.264，VP8，AAC，Speex格式：FLV，MP4，TS音视频处理过程（播放端）解码后处理接收协议：RTMP，HLS，HTTP，RTP拉伸，裁剪，走马灯显示格式：FLV，MP4，TSH.264，VP8，AAC，Speex色彩增强，音量增强音视频处理流程图音视频采集SDK(iOS/Android/PC)流媒体CDN跨平台视频播放器（iOS/Android/Web）视频直播视频点播视频存储服务（NOS）直播录制集群（NTS）媒体转码集群（NTS）视频点播集群（VOD）跨平台视频播放器(iOS/Android/Web)流媒体CDN推流(RTMP)拉流(RTMP/HLS/HTTP)HTTP方式文件上传视频转码录制视频上传视频点播本地录像上传直播流录制拉流(HTTP/HLS)点播回源视频云直播框架流媒体CDN平台播放器SDK应用管理服务器视频云管理服务器视频云应用服务器视频云管理Web端网易云计算认证平台推流(RTMP)拉流(RTMP/HLS/HTTP)视频云服务端客户端App(iOS/Android/PC/Web)推流端SDK视频云点播框架云存储服务应用管理服务器视频云管理服务器视频云应用服务器视频云管理Web端网易云计算认证平台上传(HTTP)拉流(RTMP/HLS/HTTP)视频云服务端客户端App(iOS/Android/PC/Web)上传SDKCDN分发平台云转码系统视频点播服务视频云基础服务播放器SDK端到端的优化策略编码模式码率控制视频标准H.264，HEVC/H.265，VP8/9通用性，复杂度，性能，清晰度，码率低延时，快速启动，主动追赶，适合直播抗抖动，加大缓冲，预加载流，适合点播缓冲策略软件：兼容性好，性能低，耗电硬件：性能高，适配性差，省电码率控制算法优化，确保码率波动小。控制GOP尺寸，避免码率出现频繁尖峰。端到端的优化策略实时统计Qos调整链路优化根据用户出口IP，采用中心调度策略，选择合适的网络节点，找到最优链路。网络信息，实时网络状况，机器信息，卡顿情况，帧率，码率，分别率。实时监控推流数据，采用快降慢升策略，动态调整帧率，码率，分辨率，缓冲区。总结清晰模糊流畅卡顿折衷策略动态平衡