宽带媒体服务技术之对等网络-PowerPointPre

宽带媒体服务技术之对等网络科大10系王雷第三章第二代P2P网络——无结构P2P体系Gnutella、KaZaA、eDonkey、Freenet宽带媒体服务技术之对等网络章节内容3.1Gnutella：纯分布式无结构P2P网络3.2KaZaA：基于超节点的无结构P2P网络3.3eDonkey/eMule：分块下载的双层无结构P2P网络3.4Freenet：自由、安全、匿名的无结构P2P网络3.5无结构P2P网络的特点宽带媒体服务技术之对等网络3.1Gnutella：纯分布式无结构P2PGnutella的历史Nullsoft公司，MP3播放软件WinAmp的发明人JustinFrankel、TomPepper开发2000年3月14日在网站上公开Gnutella软件一个半小时后，母公司AOL(AmericanOnline)担心步Napster后尘，关闭了网站数千名MP3迷下载了软件并公开与改造其纯分布式无结构P2P网络思想广泛流传Gnutella已不单纯对应具体软件，而是当作一种典型的无结构P2P网络协议宽带媒体服务技术之对等网络一、Gnutella体系的工作原理Gnutella协议0.4版(0.6版加入了超结点Ultrapeer，结构有变化)PPPPPPPQDQQQRQQRPRqueryPeerresponseDFiledownload宽带媒体服务技术之对等网络协议开发者称Peer为Servent(Server+Client)，网络中只有peer，没有serverGnutella覆盖网上每个结点对应一台实际的计算机每条连接对应一条点到点的链路覆盖网上的连接由每个peer保存的“邻居结点”信息确定，有一个邻居结点即对应有一条边宽带媒体服务技术之对等网络新结点加入时，必须首先连接到“众所周知”几乎总是在线的Gnutella结点(称为“自举”结点、“入口结点”)Gnutella网中的消息可以被广播或回播(back-propagate，沿广播的反向路径回传消息)，协议设计的支持机制：每条消息具有一个随机产生的全局唯一标识符GUID(16字节)以互相区分每个结点缓存最近路由的消息以支持回播并阻止不必要的重广播每条消息都有TTL以避免过度消耗网络资源宽带媒体服务技术之对等网络Gnutella的典型消息组成员消息：PING，PONG新结点加入时广播PING消息，或用来探测其它结点是否仍然存在(心跳)结点收到PING消息后，可以决定是否回播PONG消息，以及是否将PING转发给邻居，PONG消息包含结点IP,port,共享文件数量大小查询消息：QUERY，QUERYRESPONSEQUERY消息用来查询文件,包含查询内容与最小响应速度等附加信息,但不包含源结点信息RESPONSE消息包含文件下载的必须信息及该结点的nodeID，沿QUERY消息路径回播宽带媒体服务技术之对等网络文件传输消息：GET，PUSH结点收到QUERYRESPONSE消息后用GET消息请求获得文件对处于防火墙后因而不能直接响应文件请求的结点，使用PUSH消息请求防火墙后的文件拥有者主动建立到自己的连接宽带媒体服务技术之对等网络Gnutella的文件检索过程泛洪式搜索(floodingsearch)，系统开销大有限深度TTL(TimetoLive)，不保证一定查询到已有文件宽带媒体服务技术之对等网络Gnutella网络的维护各结点使用PING、PONG消息探测其他结点存在与否，在收到PING消息后，可以自主决定是否回播PONG，并根据TTL数值决定是否继续广播PING消息具有一定的自组织和自适应性宽带媒体服务技术之对等网络二、Gnutella网络的性能分析Ripeanu,2001,2002、Saroiuetal.,2002,2003、Adar&Huberman,2002Gnutella用户的连接带宽仅在Queryresponse消息中作为辅助信息回播，因此，Gnutella网络中不共享文件的用户或其共享的文件与查询请求一直不匹配的用户，不会主动发布带宽Gnutella网络中结点功能平等，但能力有差异（异构性），如连接带宽在无组织的Gnutella网络组织方式下，70%的结点承受较高时延(280ms)宽带媒体服务技术之对等网络用户连接时间与Napster类似，超过50%的用户连接时间1h，不到10%的6h25%的用户不共享任何文件，75%的用户共享文件数低于100，仅7%共享文件超过1000，即文献中的Free-Riding(搭便车)现象，对网络的高效工作不利Gnutella网络相当于社会网络，可用幂律(Power-law)分布网络近似，拥有连接数L的结点占网络总结点的份额正比于L-a,a是取决于网络本身的常数因子，Gnutella网络a=2.3，容错性较高宽带媒体服务技术之对等网络早期Gnutella网络中，PING消息占所有消息的50%以上，显示其自适应机制低效。改进后的Gnutella网络，对用户真正有用的Query消息占总消息的90%以上Gnutella覆盖网络与物理网络的拓扑一致性较低，影响工作效率宽带媒体服务技术之对等网络采用Gnutella协议的P2P网络应解决：结点异构性：充分利用结点能力Free-Riding：鼓励上传，限制或剥夺Free-Rider的权利保持高容错性：高效的机制检测和恢复网络分割继续优化查询机制，TTL的取值拓扑一致性宽带媒体服务技术之对等网络三、Napster与Gnutella的比较共同点P2P的文件共享思想系统中的对等实体(peer)之间是对称的，既是客户又是服务器，既提供下载又提供上传可扩展性都不高：但Napster是因为C/S结构，Gnutella是因为泛洪搜索策略造成的系统开销都有结点异构性问题以及搭便车现象宽带媒体服务技术之对等网络不同点Napster有服务器，Gnutella没有，因此工作机制完全不同网络结构不同：混合式与纯分布式，Gnutella在Internet网上构建了覆盖网，这是后来的P2P网络都会做的一项基础性工作Napster中文件只要存在一般都能查询到，Gnutella不一定Napster只在服务器故障时出错，Gnutella可能因为结点信息陈旧而出错，最大的问题是可能导致网络分割宽带媒体服务技术之对等网络Gnutella协议0.6版层次化的无结构P2P网络超结点PPPUUUPPPPUPLLL叶结点遗产结点U宽带媒体服务技术之对等网络3.2KaZaA：基于超结点的无结构P2P网络2000年7月，基于FastTrack协议Niklas及Friis，P2P创业家，Joltid,Altnet,SkypeFastTrack协议引入超结点SuperNode，开发结点异构性宽带媒体服务技术之对等网络一、KaZaA的工作原理KaZaA是私有协议，并对消息加密，对其理解基于测量与分析的结果SNSNSNONONONONONONONONONONSNOrdinaryNodeSuperNode宽带媒体服务技术之对等网络节点异构性带宽、处理能力、存储容量、NAT访问方式超结点高带宽、高处理能力、大存储容量、不受NAT限制功能上类似Napster中的服务器，但并非专门、永久的，经常由普通结点转变而来宽带媒体服务技术之对等网络普通结点加入网络时选择一个“父超结点”，并维持一条半永久的TCP连接，将其共享的文件元数据(也称“文件索引”)上传文件索引分布在KaZaA的超结点中，作用是将文件标识符映射到文件所在的结点IP文件索引包括：文件名、文件大小、文件内容Hash值、文件描述符(如艺术家、专辑名)文件内容Hash值的作用：当下载失败时，可自动搜索文件，不必再做关键词查询宽带媒体服务技术之对等网络用户查询文件向父超结点发送带有文件关键词的查询消息超结点在自己的数据库中寻找匹配的文件索引返回给用户文件所在的IP地址、port、文件元数据超结点间局部保持着长期的TCP连接，构成超结点覆盖网文件查询局部性问题宽带媒体服务技术之对等网络二、KaZaA协议的应用KaZaA用户应当具有4个软件构件KMD(KaZaAMediaDesktop)存储在Windows注册表中的软件环境信息，其中包含一个有200个超结点信息(IP、port)的列表(超结点列表缓存)DBB文件：包含用户希望共享的文件的元数据DAT文件：每个DAT文件是一个部分下载的文件，下载完成后，将被重命名为下载的原始文件宽带媒体服务技术之对等网络KaZaA用户间的4种TCP通信方式信号通信，包括：为建立连接的握手通信，将DBB文件从普通结点上传到超结点，超结点列表更新、查询和回复。所有的信号通信都加密文件传输通信：用户间直接的文件传输，以HTTP消息发送，不加密商业广告：通过HTTP发送实时消息通信：采用Base64编码宽带媒体服务技术之对等网络三、KaZaA的技术细节自适应通过结点间交换超结点列表实现每次普通结点连接到超结点，后者立刻回送超结点更新列表，其中第一项为自己的IP,port以及工作负载值相邻的超结点间也交换超结点更新列表结点间的连接普通结点与超结点（一对多UDP，选择父超结点）超结点之间宽带媒体服务技术之对等网络宽带媒体服务技术之对等网络KaZaA的防火墙穿透：动态端口KaZaA的NAT穿透A无法与NAT后的B建立直接的TCP连接A发送请求到B的父超结点S，S发送消息到B，通知B应该由B发出到A的连接请求，主动建立一条到A的TCP连接，A通过此连接从B下载文件。称为“连接反转”(connectionreversal)宽带媒体服务技术之对等网络四、KaZaA的性能分析基于文献Liangetal.,2004;2005的测量结果KaZaA网络的超结点数在25000-40000之间，每个超结点平均与40-60个超结点连接，与60-150个普通结点连接KaZaA覆盖网动态性：连接保持时间ON-SN平均34min，38%低于30minSN-SN平均11min，32%低于30min结点主动改变连接，超结点频繁交换列表宽带媒体服务技术之对等网络KaZaA网络局部性60%的SN-SN连接RTT(往返时间roundtriptime)小于50ms，40%的ON-SN连接RTT小于5ms超结点返回给普通结点的超结点列表中，很高比例的超结点与该普通结点的IP前缀相似结论：采用了提高局部性的方法KaZaA索引管理13%的ON上传了超过80%的元数据SN之间不交互索引信息宽带媒体服务技术之对等网络五、KaZaA网络总结首次显式开发P2P网络节点异构性为缓解无结构P2P网络的查询局部性问题，并保持KaZaA网络的自适应性，KaZaA用户间频繁地交换超结点更新列表，根据列表改变原有连接测量结果显示KaZaA网络考虑了局部性因素Free-Riding现象在KaZaA网络中依然存在KaZaA通过使用动态端口和连接反转的方法，有效地穿透防火墙和NAT，拓宽了网络适用范围宽带媒体服务技术之对等网络3.3eDonkey/eMule：分块下载的双层无结构P2P网络2000年eDonkey出现，特点：文件分块，可并行下载使用文件内容散列值验证数据完整性双层无结构，使用超结点作为“服务器”基于Overnet分布式搜索网络eMule出现于2002年5月，是对eDonkey客户端的出色改进宽带媒体服务技术之对等网络一、eDonkey工作原理宽带媒体服务技术之对等网络eDonkey客户加入网络首先连接到“入口服务器”列表中离自己最近(时延最小)的一台服务器通过该入口服务器获得一个普通服务器列表，从中选择最合适的服务器建立连接并断开与入口服务器的连接客户将自己的共享文件信息发给服务器客户从存放自己信息的服务器查询文件，如无结果，则可以向其它服务器重新查询宽带媒体服