“聚力传媒·聚众人之力”V教育网年会--大规模视频应用在中国互联网环境下的挑战与实践

大规模视频应用在中国互联网环境下的挑战与实践PPLive聚力传媒创始人兼总裁姚欣billyaopplive2思路、合作、共赢网络视频的发展历程视频服务面临的挑战PPCloud的架构与现状3Source：IResearch2019dataPPTV安装覆盖量占全中国网民的42.3%2019年，网络视频用户达到4.3亿。中国互联网视频用户的渗透率为81.2%中国宽带用户的高速增长4互联网中成长最快的曲线——视频和社区社区交友即时通讯在线游戏电子商务注：社区交友包括：社交网络、微博、社区、博客、婚礼交友等；电子商务包括C2C、B2C、团购；在线视频包括：网站视频+网络电视；在线游戏包括网站游戏服务+软件网络游戏和休闲游戏。52019年，PPLive在教育网华中地区节点华科大校园中诞生。PPLive聚力传媒——诞生于教育网63500万201920192019201920092019用户规模签约华谊，网络首播《夜宴》《门徒》等国产大片全程直播北京奥运会，打破500万同时在线观看世界纪录直播国庆60周年阅兵式，吸引80多家海外媒体加盟联播网。联合东方宽频，首次直播德国世界杯携手央视直播南非世界杯，960万人同时观看！500万8000万1.2亿1.75亿超女总决赛，第一次大规模应用2亿一路引领网络电视发展趋势PPTV：中国互联网收视时长第一名！平均每人每天观看时长超过2小时33分每天平均观看视频总时长1100年8PPTV在全球三大洲流量前十位！PPTV：全球流量三大洲前十位！92019年2月，PPTV正式宣布获得来自SoftBank投资的2.5亿美金巨额融资商业模式：资本市场的高度认可分享、合作、共赢云视频服务的架构与现状云视频服务面临的挑战视频的现状与愿景11020406080100120140200820132018PeakBandwidth(Tbps)•视频已近通过互联网进入电视、PC电脑以及手机等终端，统称三屏•不断增加的视频服务需求以及视频解决方案需求强劲地推动着带宽需求的增加•云端平台传递应用与服务响应•带宽需求增长来源于：–用户连通性的不断增加以及基于云端的服务–基于云端的不断增加的终端连通性服务•PC和移动设备的在线游戏•带宽的增长需求来源于不断增长的基于游戏的互联网连通性以及游戏视频解决方案•现存的在线服务（信息传输，信息搜索等）•带宽的增长需求主要来源于基于全球性宽频带的使用增长以及更为复杂的服务需求Video–视频CloudServices云计算OnlineGaming在线游戏OnlineServices在线服务CAGR08-18:90%2019Peak:15Tbps2018Peak:95TbpsCAGR08-18:70%2019Peak:7Tbps2018Peak:33TbpsCAGR08-18:60%2019Peak:1.5Tbps2018Peak:6TbpsCAGR08-18:30%2019Peak:1Tbps2018Peak:2.5Tbpsx402019x2002019网络需求2019-2018500GbpsPeak数据源：Accenture,2009全球视频业务增长对带宽需求的巨大挑战视频对于带宽的需求：2019年35倍增长、2018年180倍增长ISP面临的挑战：针对视频进行专项优化网络视频占据49.2%的北美运营商的流量13视频数量爆炸增长画质需求不断提高播放质量需求不断提高实时性要求不断提高内容检索需求不断提高定制化需求不断提高视频社交化需求增长ICP面临的挑战：用户体验不断提升挑战：互联网基础设施的建设永远赶不上用户需求的脚步！•互联网巨头纷纷抢滩音视频云平台!视频与云计算的结合–产业大势所趋16PPCloud：云与端结合的超大分布式系统第二级：大规模分布式数据节点第一级：云视频核心数据中心PB级存储能力，百G级的多线带宽（全球部署的四大数据中心）（超过200个数据机房，近万台服务器）百PB的存储能力，T级的服务器带宽第三级：超大规模的端分布网络（2.4亿终端覆盖，千万同时在线）EB级的存储能力，P级的总带宽17电信联通教育网海外双线/BGP移动PPCloud数据节点（POPs)全网部署图18PPCloud应用架构层次图PPCloud基础服务层(服务器集群管理/云加端存储系统/数据采集分析)系统虚拟化层(虚拟机/弹性计算调度/系统监控)跨平台云应用框架(资源调度系统/资源管理系统/云安全防护/数据访问)云应用业务系统(直播系统/点播系统/媒资后台/内容管理/制片/用户管理)面向用户服务展现(网站/客户端/移动终端/机顶盒/个性化视频/个人存储)信息架构系统平台业务系统服务展现云基础设施与硬件设备(服务器/带宽/存储/网络设备)硬件基础系统虚拟化层(虚拟机/弹性计算调度/系统监控)云基础设施与硬件设备(服务器/带宽/存储/网络设备)•在保证业务发展与用户体验前提下的架构调整•以大规模视频服务为主导的实施策略•面临的问题有众多的研究课题，需要与网络运营商和学术界保持良好的合作关系。以应用为主导的技术演进策略SIGCOM2019(香港中文大学)Challenges,designandanalysisofalarge-scalep2p-vodsystemNSDI(耶鲁大学)Contracts:PracticalContributionIncentivesforP2PLiveStreamingIWQoS(清华大学与SimonFraserUniv.)PPVA:AUniversalandTransparentPeer-to-PeerAcceleratorforInteractiveOnlineVideoSharing十多篇高质量的学术论文，近百项国内外专利申请20挑战的远期与近期解决方案云视频服务面临的挑战PPLive云服务的架构与现状云视频的现状与愿景21现状：已有学术研究经验难以借鉴•国内外学术界有众多优质的研究成果•云计算与视频服务也有企业级的解决方案原因：两个挑战•具有中国特色的互联网现状•以实际应用为导向的量化研究缺乏云视频服务面临的挑战中国ISP骨干节点分布几个事实:1)运营商之间的互联带宽有限2)跨省的互联有限3)城际网内部的互联有限23中国互联网用户的带宽分布极不均衡测速结果(10*kB/s)比例20%用户是1M以下接入数据：PPTV网络电视DAC系统80%的用户的接入带宽低于2M•不能照搬现成的国外经验•集中式的大规模数据中心难以保证全国的用户体验。•带宽成本占比大，难以参与互联网路由决策以及对等流量互换等现实国情。•互联网的互联互通状况难以模拟•对学术界理论到实践的转换提出了挑战。•难以用有效的模型来评估新产品的效果。•我们依然可以相互借鉴学习•我们的技术可以是世界领先的。•为我们企业与学术界的合作提供了很好的基础。在这种独特的互联网现状下•需要结合视频用户的使用行为有定性与定量的研究•研究应切合实际的应用环境应用导向的针对国内用户的量化研究•对于实际的视频服务来说，集中更甚于2/8原则•一套模型要同时兼顾10%的头部热门内容和90%的长尾内容内容高度集中10%带来90%的流量26带宽峰值vs早晚高峰交通视频服务既要高清又要流畅—跟早晚高峰的交通类似。在技术层面更具有挑战—视频行业竞争更加的激烈，用户的选择成本低1）互联网情况下，点对点传输模式是主要模式；2）在高峰期间仍要保证服务质量；3）用户以娱乐休闲为主要目的，用户体验至关重要，削峰不能伤害用户体验。一天内访问量的变化10X27云视频服务面临的挑战分享、共赢、合作PPLive云服务的架构与现状云视频的现状与愿景28带宽成本与使用优化策略--智能化调度系统从根本上解决带宽问题，这个任务不是运营商（ISP）单方面的任务。应用服务提供商（ICP）也有义务降低核心网负载。云策略：利用云计算架构，使内容更靠近用户，带宽使用局部化。增加云的分布，与运营商的密切合作，为用户提供更好的服务。加强端的力量与智能，为用户提供更加个人化，更有效的内容。端策略：针对用户兴趣的内容主动推送。将用户感兴趣或者必看的节目提前推送到用户本地。目的包括两层：利用带宽低估进行数据推送，降低高峰期的带宽使用；提高用户体验，用户高峰期观看时做到本地播放。云策略：让内容更靠近用户利用云与端结合的云计算架构，使内容更靠近用户，这里有几个层次。在云端与运营商的密切合作，使文件的分布复制更合理。加强端的力量与智能，为用户提供更加个人化，更有效的内容。举例：PPLive在今年年中在某合作运营商网络内部部署内容镜像。用户规模4倍增长！30云策略：极大降低网间流量利用云与端结合的云视频架构，该ISP的网间流量下降75%网间流量下降75%！云策略：冷热内容的资源调度冷热内容的合理分布来保证服务质量是一个核心问题。PPLive已有数百TB的视频内容，每天以TB级别在增长。全网复制存储与传输成本都太高。选择性的内容复制策略是必须的。这是一个多维度的优化问题。热度，地域，连通度，成本。不同于传统的CDN缓存问题，复制成本高，存储要求高，需要多处服务集群的相互协作。端部智能（P4P）能降低复杂度，不治本。32端策略：基于用户兴趣的资源调度针对用户兴趣的内容主动推送根本的问题是在用户行为发生之前做出正确的预测。我们可以参考已有的学术研究成果。三个核心问题：推送什么？推送多久？推送多少？要推送什么?答案极其简单推送用户兴趣集中的新内容。正好也是系统内用户体验难以保证的内容（卡顿率）33内容主动推送—推送多久？推送多久也是关键问题：推送时间的长短决定了我们积累的需要推送的总量。一个新片热片的生命周期如何？结论：推送的时间不需要很长，特别是在视频上线后短期内做集中的推送，效果最好。热视频热度下降很快，降到一般水平就是3~4天高热度内容质量提升速度很快！高清影片质量难保证我们系统中热度排名能保持在前200名超过6天的视频的访问量随天数的变化。34内容主动推送—推送多少？推送多少：我们系统的推送总量是有瓶颈的。推送量与同时在线的非活跃用户相关。每天大量的新视频上传，新的热视频有多大量？在我们数据里面，连续出现在前200名的热片新片平均每天6-7个。结论每天需要push的片子不需要太多，不会超过10个。一个片子需要push的天数比较短，不会超过3天。保持热度的天数75%的热片保持热度的天数小于5天长期保持热度的都是热播连续剧，如步步惊心，很容易预测35长期目标：智能化调度系统云策略我们需要对资源分布进行更好地优化端策略里基于用户兴趣的推送我们采用的是依赖视频名称的简单预测大量的后续研究工作，如何尽早的预测到视频热度而进行推送？更好的预测方式？如何应对视频热度的突然变化？需要企业与高校的密切合作，共同研究分享。PPTV—高校数据开放计划！提供网络拓扑，用户行为，视频质量等各类真实数据计划细节会在近期进行公布•面向应用的云视频服务具有很大的发展潜力。•PPLive致力于建立高效可靠的云视频服务。•中国的互联网环境给了我们独特的挑战与机遇。•企业需要量化结果与稳健的解决方案，云加端的PPCloud是一个典型的例子。•我们可以打造世界最领先的技术，这种技术需要企业与学术界的紧密合作。总结谢谢您的关注和支持！billyaopplive新浪微博：PPTV姚欣PPLive,changesourLives!影响和改变我们的生活！“辞旧迎新情系红星”红星地产2019年会活动策划方案时间内容13:30—13：35主持人上台宣布联谊会即将开始，并有请所有来宾入座。同时，RTC将配合司仪，用音乐铃声提醒来宾进场入座。13：35—13：40来宾全部安排就座。开场预告音、开场钟声以及灯光秀。13：45—13：50电脑灯打在舞台背景板上吸引了所有人的目光。同时，现场音乐声渐起，大型开场古乐《跨越》8人在绚丽的灯光中开始。击鼓13：50—13：55主持人上台宣布活动开始，并介绍到场嘉宾，有请主要领导致辞。序曲时间内容13:30—13：35主持人上台宣布联谊会即将开始，并有请所有来宾入座。同时，RTC将配合司仪，用音乐铃声提醒来宾进