AnySee_基于P2P的在线流媒体服务系统(金海教授_华中理

AnySee:基于P2P的在线流媒体服务系统金海集群与网格计算湖北省重点实验室华中科技大学[e-mail]•流媒体服务的发展现状•社会行为意识的转变•网络发展现状流媒体服务的发展现状•流媒体服务的需求背景教育小区IPTV网络传媒无线媒体你所能想到的…流媒体服务的发展现状•流媒体服务经历了三个过程–单机服务方式•性价比低，规模不可扩展–集群服务方式•规模可扩展，地域难以分布•一次投资过大–呼唤新技术的出现…社会行为意识的转变•网络个人英雄主义•真诚互助的人本主义•陌生的信任主义•共享资源的愿望…提供对等平台给有英雄理想的人们网络发展现状•网络带宽逐步提高–从几十M到几个G–桌面速度提升到M•从IPv4向IPv6跳跃–内网问题衍生的问题可以解决–组播方式更加合理–端到端的服务更为普遍应运而生的技术…•对等计算•个体平等互助•带宽高效利用•无庞大投资需求•资源无限增长•资源拥有者之间的对话内容安排•相关研究背景•AnySee系统总体结构•AnySee关键技术•AnySee应用展示•挑战与对策流媒体现实状况•P2P开创网络媒体新时代–2004年6月是互联网历史上的分水岭，视频流量首次超过音频流量。这表明巨大的无形的P2P文件共享网络正在被用来分发电视节目和电影(IDG报告)•互联网宽带“对等广播”（“peercasting”）的兴起–它对视听媒体的影响就像互联网对印刷媒体的影响一样•媒体网Medianet观念的兴起•知识产权保护问题•正在发展不用集中服务器的VoD网络对等广播和柔性电视PeercastingandFlexibleTV•2004年6月BBC开始进行其“柔性电视”（“FlexibleTV”)第一次有限范围公共试验。在英国的宽带用户可以下载“BBC互联网媒体播放器”，用它可以下载收看前一周和后一周的BBC的全部节目•由于BBC生产制作节目，拥有版权，这种方法不违反知识产权保护，可以快速检索分发给用户网络对等广播和柔性电视PeercastingandFlexibleTV•BBC采用P2P的对等广播Peercast技术•每一个播放器使用Peer-to-Peer对等连接文件共享软件实现向用户网络分发内容•节目文件被分解为很多小的片段，每个用户下载存储若干片段再互相对接交换，最后每个用户都得到完整的拷贝–这种方法同时下载用户越多，下载速度越快–所有节目文件实际上被存储在用户终端中互联网交互媒体新方式－对等广播（柔性电视）流媒体研究状况•许多P2P流媒体系统已经被开发–ESM、PeerCast、CoopNet、splitStream、GnuStream、CollectStream•根据服务模式分类–单对多模式–多对单模式–多对多模式单对多模式•流媒体服务提供的主要模式•适合实时的热点节目，如：奥运会、世界杯–ESM、ZigZag、DirectStream、P2Cast多对单模式•主要用于提供不同质量的视频节目•视频数据从多个数据服务者得到•稳定性高，可用性好–PROMISE、CoopNet、GNUStream•问题–两种模式：文件分片策略与文件分层策略–策略复杂、实用性有待提高–理论上有待完善多对多模式•前两种模式的混合•最大限度的利用单个节点的服务能力•改进系统的稳定性和可用性，通过缓存元数据以服务其他节点，提高了可扩展性–HoneyComb服务近邻原则的讨论•服务近邻原则是保证QoS的核心•如何表述服务近邻有待研究–ESM：依据带宽多重编码、地域相近服务调度–拓扑匹配：物理与逻辑拓扑动态匹配–AnySee:依据IP地址分域策略调度服务系统总体结构•设计原则–媒体数据一次路由原则–媒体服务邻近获取原则–高可靠、高可用原则–服务规模可扩展原则视频源视频卡Shoutcast/windowmediaencoderBroadcast媒体文件（asf、avi、nsv、mp3等）读取/转发模块AnySee视频直播网络媒体数据获取层视频直播层：视频数据流系统总体结构•媒体数据获取层–描述媒体数据的两种来源•磁盘文件•实时压缩获取•视频直播层–提供媒体服务的层次媒体数据获取层•视频直播数据的获取–从视频卡或者采集卡上实时获取媒体数据•这种方式便于进行实时性的媒体服务，如：现场直播、电视转播•曾采用这种方式在教育网内对2004年的奥运会、GCC国际会议进行了全程直播–读取媒体文件•这种方式可以有效的丰富视频直播网络中媒体服务清华大学华中科技大学视频直播层Broadcast华南理工大学武汉大学武汉理工大学上海交通大学汕头大学中山大学逻辑拓扑--NearCast紫松公寓视频直播层•逻辑拓扑以华中科技大学为例西7楼沁园韵园东13楼视频直播层•结点的类型–按功能划分•源节点•中转节点•叶子节点–节点异构性•平台异构—WINDOWS/LINUX•性能异构---硬件性能不一、带宽不同•意愿异构---角色自由、来去自由视频直播层采用NearCast策略，使得系统中节点的逻辑位置尽量和实际的物理位置保持一致。这样可以很好的保证QoS健壮的多播树维护策略，使得整个系统一方面可以适应P2P系统高度的动态性，一方面进一步保证QoS以人为本的设计策略，根据节点性能采用不同的服务策略。即使性能比较差的节点也可以加入系统，享受服务关键技术•Landmark•应用层多播策略•NAT&Firewall的处理•Buffer管理策略•在AnySee中，为了达到Nearcast的思想，即地理位置相近的调度原则，需要使用landmark值来做为调度路径上的“路标”•Landmark是一个56位数据类型的值，利用固定几位分别表示国家、网络类型、省份、城市和学校具体数位表示内容地区城市学校校内ID网络类型国家16位4位16位8位8位4位每个加入AnySee的Peer都有自己的一个Landmark值，它由地理位置与IP的对应关系和一定的编码规则产生例如，华中科技大学的某个Peer的Landmark值为：00000001000100010000000100000000000000010000000000000100Landmark（ApplicationLayerMulticast）•AnySee是一棵应用层上的多播树，它的这种网络拓补结构减轻了数据发送端的服务带宽压力，增加了整个系统的可扩展性•Nearcast策略的使用保证了QoS,节约了带宽•构建和维护多播树是AnySee最为关键的一项技术节点的加入Broadcast请求加入点PeerALM（ApplicationLayerMulticast）节点的加入Broadcast请求加入点PeerALM（ApplicationLayerMulticast）节点的正常离开Broadcast离开节点PeerALM（ApplicationLayerMulticast）节点的正常离开Broadcast离开节点PeerALM（ApplicationLayerMulticast）节点的异常离开Broadcast离开节点PeerALM（ApplicationLayerMulticast）节点的异常离开Broadcast离开节点PeerALM（ApplicationLayerMulticast）的处理•NAT&Firewall的Peer约束了AnySee的可扩展性BroadcastNATorFirewallPeer请求加入点的处理BroadcastNATorFirewallPeer请求加入点•将NATorFirewall的Peer动态调节到叶子位置。一定程度上克服了所带来的制约管理策略•Buffer的必要性–媒体服务的软实时特征–网络的抖动–p2p系统的高动态性•AnySee的Buffer管理策略每个peer都拥有一个buffer,以时间间隔为单位进行管理Buffer缓存最近固定时间长度内的媒体数据Buffer占用的空间大小随时间呈动态变化头部元数据包和媒体数据包分别进行管理的组织结构Datapackets(40秒）HeaderpacketSeqarrivaltimeheaderseqtimestampdata:00:0000:00:1000:00:2000:00:4000:00:41。。。。。。。。。Buffer管理策略（续）Headerpacket00:00:41-00:00:0040Datapackets(40秒）00:00:00每加入一个数据包时检查当前buffer内最“老”的包离当前时间是否超过40秒，保证buffer内存放最新数据管理策略（续）Datapackets(40秒）HeaderpacketFatherpeerHeaderpacket。。。ChildpeerOrPlayerBuffer内数据到达一定门限值后才开始向播放器或下层节点提供服务平滑拓扑动态变化对服务质量的影响://grid.hust.edu.cn/anyseeAnySee的应用展示（1）•2004奥运会直播–源提供者：普通pc机