PPCache系统白皮书(csmi)

PPCache系统白皮书2008.6北京中录国际文化传播有限公司1PPCache系统白皮书北京中录国际文化传播有限公司2008年6月PPCache系统白皮书2008.6北京中录国际文化传播有限公司2目录1概述...........................................................................................................................................32P2P网络...................................................................................................................................32.1P2P基本原理...............................................................................................................32.2P2P分类.......................................................................................................................32.3BT协议流程................................................................................................................53P2P为运营商带来什么...........................................................................................................63.1运营商网络建设及运维需求分析...............................................................................63.1.1认知用户行为分析...........................................................................................63.1.2P2P用户行为管理...........................................................................................73.2P2P为运营商带来的好处...........................................................................................84PPCache系统...........................................................................................................................94.1系统目标.......................................................................................................................94.2系统结构.......................................................................................................................94.3系统原理.....................................................................................................................104.3.1BT缓存工作原理...........................................................................................114.3.2迅雷缓存工作原理.........................................................................................114.4功能模块介绍.............................................................................................................124.5PPCache系统容量计算.............................................................................................144.6BWPPCache产品系列介绍.......................................................................................155系统管理.................................................................................................................................176系统特点.................................................................................................................................187问题解答.................................................................................................................................19PPCache系统白皮书2008.6北京中录国际文化传播有限公司31概述PPCache系统针对当前运营商对P2P流量管理和缓解出口带宽压力两大需要而设计，具有部署灵活、不影响运营商现有网络结构、缓存效率高、系统管理完善等特点，系统分为PPS（P2PSwitch）、LBE（LoadBalanceEngine）、PPC（PPCache）、PPM（P2PManagement）、CAS（ContentAnalysisSystem）五种模块，既可以分散部署，又可以集中部署，并可以根据运营商出口带宽规模，无缝扩容。因此，适合于电信运营商、城域网运营商、教育网、大型企业网等多种网络环境。2P2P网络2.1P2P基本原理P2P系统最大的特点就是用户之间直接共享资源，其核心技术就是分布式对象的定位机制。P2P网络是一种具有较高扩展性的分布式系统结构，其对等概念是指网络中的物理节点在逻辑上具有相同的地位，而并非处理能力的对等。以Napster软件为代表的P2P技术其实质在于将互联网的集中管理模式引向分散管理模式，将内容从中央单一节点引向网络的边缘，从而充分利用互联网中众多终端节点所蕴涵的处理能力和潜在资源。相对于传统的集中式客户/服务器(C/S)模型，P2P弱化了服务器的概念，系统中的各个节点不再区分服务器和客户端的角色关系，每个节点既可请求服务，也可提供服务，节点之间可以直接交换资源和服务而不必通过服务器。2.2P2P分类P2P主要分为2类，一类是非结构化P2P，第二类是结构化P2P。所谓结构化与非结构化模型的根本区别在于每个节点所维护的邻居是否能够按照某种全局方式组织起来以利于快速查找。结构化P2P模式是一种采用纯分布式的消息传递机制PPCache系统白皮书2008.6北京中录国际文化传播有限公司4和根据关键字进行查找的定位服务，目前的主流方法是采用分布式哈希表(DHT)技术，由于DHT各节点并不需要维护整个网络的信息，只在节点中存储其临近的后继节点信息，因此较少的路由信息就可以有效地实现到达目标节点，同时又取消了泛洪算法。该模型有效地减少了节点信息的发送数量，从而增强了P2P网络的扩展性。同时，出于冗余度以及延时的考虑，大部分DHT总是在节点的虚拟标识与关键字最接近的节点上复制备份冗余信息，这样也避免了单一节点失效的问题。目前基于DHT的代表性的研究项目主要包括加州大学伯克利分校的CAN项目和Tapestry项目，麻省理工学院的Chord项目、IRIS项目，以及微软研究院的Pastry项目等。这些系统一般都假定节点具有相同的能力，这对于规模较小的系统较为有效。但是基于DHT的拓扑维护和修复算法比Gnutella模型和Kazaa模型等无结构的系统要复杂得多，目前大量实际应用还大都是基于无结构的拓扑和泛洪广播机制。非结构化P2P网络是目前主要应用的P2P系统，从P2P发展历史上，主要从集中式结构，发展到分散式结构和半集中式结构。集中式P2P结构是最早出现的P2P应用模式，因为仍然具有中心化的特点也被称为非纯粹的P2P结构。用于共享MP3音乐文件的Napster是其中最典型的代表，其用户注册与文件检索过程类似于传统的C/S模式，区别在于所有资料并非存储在服务器上，而是存贮在各个节点中。查询节点根据网络流量和延迟等信息选择合适的节点建立直接连接，而不必经过中央服务器进行。这种网络结构非常简单，但是带来法律问题导致网站被关闭。分散式结构取消了集中的中央服务器，每个用户随机接入网络，并与自己相邻的一组邻居节点通过端到端连接构成一个逻辑覆盖的网络。对等节点之间的内容查询和内容共享都是直接通过相邻节点广播接力传递，同时每个节点还会记录搜索轨迹，以防止搜索环路的产生。Gnutella模型解决了网络结构中心化的问题，扩展性和容错性较好，但是Gnutella网络中的搜索算法以泛洪的方式进行，控制信息的泛滥消耗了大量带宽并很快造成网络拥塞甚至网络的不稳定。分散式结构为了改善查询速度，Kazaa模型引入了超级节点的概念，Kazaa模型将节点按能力不同(计算能力、内存大小、连接带宽、网络滞留时间等)区分为普通节点和搜索节点两类(也有的进一步分为三类节点，其思想本质相同)。其中搜索节点与其临近的若干普通节点之间构成一个自治的簇，簇内采用基于集中目录式的P2P模式，而整个P2P网络中各个PPCache系统白皮书2008.6北京中录国际文化传播有限公司5不同的簇之间再通过纯P2P的模式将搜索节点相连起来，甚至也可以在各个搜索节点之间再次选取性能最优的节点，或者另外引入一新的性能最优的节点作为索引节点来保存整个网络中可以利用的搜索节点信息，并且负责维护整个网络的结构。半集中式结构的典型代表是Bittorrent，半集中式结构与集中式结构比较类似，通过Tracker服务器进行内容定位，只不过这个Tracker服务器不是一个，而是任意多个，这样，就避免了版权问题。同时，由于Bittorrent的设计考虑了多点下载、双向下载等问题，因此，效率远远高于Kazza等同类P2P下载工具，使得Bittorrent成为互联网上最流行的下载工具。2.3BT协议流程BT协议流程与其他的P2P协议略有不同，最大的不同在于BT流程将文件搜索和文件定位两个功能拆开，分别归于WEB网站和Tracker服务器两个可以截然分开的模块。下载者首先通过WEB服务器或其他方式获取了.t