[1] 百度媒体云技术及架构

百度媒体云技术及架构陈彬媒体云概要图片处理及识别人脸服务视频服务Q&AAgenda媒体云开发者及合作方百度基础架构(云存储、云数据库、云消息等)充分利用百度闲散资源，业界最低成本实时+分布式多媒体处理架构，满足大并发实时请求高性能计算实现业界领先的处理算法（视频压缩、人脸及语音识别等）云存储+CDN实现媒体文件高效分发百度媒体云–概要为媒体应用或服务开发者提供的媒体PaaS平台，基于该平台可以轻松快速搭建各类媒体应用或服务百度媒体云–做什么？媒体云（MediaPaaS）WebAppNativeAPP网站开发者传媒教育政企媒体SaaS提供商合作伙伴……百度视频百度云百度文库视频课程三星S-Cloud百度浏览器儿童音像馆贝瓦儿歌英雄联盟视频WebServer通用多媒体前端DBCache抓取器图片Worker直连分布式消息队列图片Worker人脸Worker视频Worker通用多媒体处理架构图像处理及识别•格式互转(JPG,PNG,GIF,BMP)、图像压缩•色度/亮度/对比度/锐化模糊/饱和度调节图片转码•二维码•人脸检测、识别、认证图像识别•二维码•验证码•叠加水印图像生成•Exif、IPTC、颜色空间、分辨率、颜色数等元信息•图片质量图片解析人脸识别及认证智能裁剪图像处理及识别图像处理及识别•同步图片处理–标准HTTP接入–同步返回图片结果数据•异步图片处理–标准HTTP接入–结果图存储到指定空间–结果回调通知图像处理及识别总控服务cache服务图片抓取服务图片内核服务消息队列Webserver接入图片处理•第三方库的功能bug和性能问题•脏数据导致的宕机访问提速•原图抓取提速•分布式的图片cache集群•图片处理内核的速度优化高吞吐大并发•大规模的处理集群•完备的机房预案•高效异步消息队列进行数据解耦图像处理优化•抓取提速–DNS解析加速(基于百度强大的DNS缓存服务)。–分机房抓取,尽量避免跨运营商抓取。分布式的cache服务，避免相同请求重复处理。•图片算法优化。–libjpe-turbo提升jpeg图片处理速度。–DCT，实现大图局部解码。–IPP，使用intel的ipp函数库替换编解码函数。•分布式的cache服务•图片CDN服务访问提速•以RESTfulAPI形式封装人脸图像智能分析接口•便捷、高效地将人脸分析能力分发给应用方•高可靠、高并发、高实时性人脸检测属性分析人脸识别人脸聚类人脸认证人脸服务系统功能视频百度开发者或合作方开发者及合作方合作方CDN百度CDN集成T5播放内核百度云基础架构(云存储、云数据库、云消息等)第三方媒体组件开发视频应用的难题技术门槛高运转成本大推广、变现难碎片化终端全兼容困难PC/手机/Pad/电视跨平台支持困难IOS/Android/Flash/HTML5/WP多种需求：实时、高清、流畅、省流量、省电存储成本高、同一个视频针对不同终端有不同版本带宽成本巨大计算、带宽资源空置率高推广渠道少变现手段缺乏，特别是移劢端核心优势极速播放内核最佳压缩算法高效云转码智能移动视频广告利用百度闲散资源进行计算，业界最低成本实时+分布式转码架构，满足大并发实时转码需求输入全格式支持，输出支持M3U8、Flash/HTML5等视频格式完美支持M3U8，性能及稳定性业界第一支持主流文件及流媒体格式Android/IOS/Flash/HTML5/WP平台SDK多屏互劢（手机、Pad、PC、电视）跨终端统一接入的视频广告平台VAST标准支持智能广告匹配-低技术门槛-低运营成本-轻松变现业界领先的视频压缩算法基于内容的智能压缩，相同主观质量下，存储与带宽占用最小•强大的T5播放内核对开发者开放–成功应用众多的百度及开发者产品，更好的性能和响应速度、上亿用户量的稳定性–全平台覆盖：Android，IOS，WP，Flash/HTML5–多屏互动（手机、Pad、PC、TV）–端+云：支持实时转码，HTTPLiveStreaming(M3U8格式)百度视频百度云百度百度浏览器儿童音像馆贝瓦儿歌明星汇百度贴吧核心优势HttpLiveStreamingHLS云转码AndroidIOSFlashWP全平台只需一种格式：Android，IOS，WP，Flash点播、直播：HLS标准完全兼容动态码率切换：根据带宽的变化劢态切换码流媒体云视频转码API任务创建任务查询任务批量查询任务重试任务删除通过这些API的组合使用，开发者可以实现基本的视频文件转码操作及视频内容管理功能。视频转码API1352468790~5'5~10'10~12'1325'5465'83'1320546780~12'(2)分段转码(3)视频合并(1)嗅探sample.avitranscoded.mp4seg0.mp4seg1.mp4seg2.mp4Sample.avi10s10s....ClientPlayer视频实时转码视频分布式转码（1）嗅探（2）分片转码（3）分片播放实时与分布式转码TranscodingEngineIOSInternet(ContentDistributionNetwork)BaiduCloudClientAndroidStreamSegment(Data&Index)CacheVideoCrawlerVideoSrcInfo.VideoDataHTML5Video(HLS,mp4/3gp)VideoPageAnalyzerReal-timetranscoding-Input:videoofanyformat-Output:formatsupportedbyiOS,AndroidorHTML5videotagReal-timestreaming-HTTPLiveStreaming(m3u8/ts)HTML5视频实时转码视频分布式转码Client云存储抓取器任务管理器PipelinedWorkersrequestcallback分布式消息队列实时+分布式转码通用多媒体前端云消息队列实时+大并发请求支持图片、视频、人脸等实时转码worker分布式转码Worker支持消息读写、查询、重试云消息队列云存储云数据库分布式CacheDATAOUT架构•增加cache，减少云存储写操作•实时分布式转码结合,单机QPS5倍提升算法•编码优化-码率25%down•汇编优化-速度增益51%后处理•主观质量大幅提升•MOS打分3.7分-4分系统优化谢谢！@Bill_Chenbin