集团级大数据量传输加速方案(网络存储)【广域网优化】

存储网络集团级大数据量传输加速方案行业存储网络应用类别基于卫星的数据传输加速链路卫星加速产品选型集团级大数据文件加速服务器部署方式总部集中部署©北京瀚维特科技有限公司BeijingHWTTechnologyCO.LTD.：010-51669727（四线）QQ：162148793511加速需求简要说明某存储网络通过卫星采集遥感信息，由分布在不同地区的3个地面接收站将数据发送到数据中心（处理点），数据中心将数据进行处理以后存储在本地，并同时将数据向同城的另外一个灾备中心进行数据灾备，系统的结构图如下：卫星不间断的发送遥感数据，分布在不同地点的地面数据接收站分别接收卫星数据，数据接收站再通过固定网络将接收到的数据传输到处理中心，处理中心要有能力稳定800M带宽接收来自不同地面数据接收站的数据流。进而，数据处理中心将数据备份到灾备中心。由于固定网络的不稳定性和远距离传输的延迟和丢包问题，使得目前网络传输效率在不使用网络加速技术的前提下不可能达到稳定800M的吞吐能力，因此，需要使用我们的网络加速技术来提高远距离数据网络吞吐能力。通过使用QuickBi的网络加速技术一方面可以保证在数据接收站到处理中心最大可以达到800M带宽传输能力；另一方面可以将处理中心到灾备中心的数据传输能力同样提高到800M带宽能力，从而保证网络数据的不间断传输。2固定网络通讯瓶颈目前，几乎所有网络通讯协议都使用的是TCP/IP协议，由于TCP/IP协议本身在设计之初并没有考虑到远距离和不稳定网络状况，比如广域网（互联网），因此TCP/IP协议技术伸缩性及扩展性不高，©北京瀚维特科技有限公司BeijingHWTTechnologyCO.LTD.：010-51669727（四线）QQ：16214879352只是一种适合在稳定的链路质量可以保证的网络环境中的通讯协议，因此，在广域网这种丢包和延迟频繁发生的网络中，经常造成网络堵塞，RTT延迟过大，TCP丢包率过高等问题的出现，严重影响网络通讯。服务不良、网络不畅时有发生，甚至经常有无法联通现象发生，传输效率低下，传输耗时过长，甚至传输失败的例子比比皆是。影响网络传输效率的因素很多，但主要的因素有两个方面：1、网络延迟问题在远距离数据通讯过程中，由于电子信号的往返需要耗费时间，这个耗费的时间是固定的，没有任何技术能够超越，所耗费的时间就直接导致网络通讯延迟问题，而在实际的网络链路上，很多其它因素的共同影响，网络延迟会变得更大。正是由于网络延迟的出现使网络通讯能力变得低下，网络通讯效率不高。在实际的国内骨干网路环境中，我们曾经遇到一条30M的上海到乌鲁木齐的专线数据线路，单纯由于延迟的问题，实际最大可用带宽只有6M，带宽利用率最大只有20％。因此，在常见的网络通讯中延迟问题将不可避免的严重影响网络通信的吞吐能力。2、网络丢包问题在远距离通讯、跨ISP（如电信到网通）通讯、跨省网络通讯或跨国网络通讯中，不但存在网络延迟问题，而且还存在着或多或少的丢包问题，对于TCP/IP通讯网络而言丢包问题几乎是致命的，由于TCP/IP协议本身对网路丢包问题非常敏感，网络丢包将严重影响TCP协议窗口的变化，数据通讯能力呈现出指数性质下降。举个典型的例子，在北京到广州的链路上，链路延迟在150MS左右，丢包在17％左右（实际情况是北京网通到广东典型的丢包率常常是20％以上），100M的网络带宽能力最终只能获得单连接最大150K实际带宽传输吞吐，而使用多连接方式最大不过3M数据传输能力，可用带宽率只有不到3％，可见丢包问题对远距离数据通讯是一个非常关键的问题；同样问题，在跨大西洋的网路通讯中，连接的RTT值大于200毫秒，丢包率为2％，本地网络带宽为40M，而最终实际最大吞吐率低于300Kbps。因此，要获得高效率的数据传输能力就必须要克服丢包和延迟对网络通讯的影响，在远距离通讯（广域网通讯）中获得更大的通讯效率，提高数据实际吞吐能力，没有任何捷径，只能从两个方面来优化（或加速）网络：减少总延迟和降低丢包问题的影响。广域网优化（或称网络加速技术）就是要从根本上解决以上的问题，从而可以显著的提高网络吞吐能力，使用户可以做到以前不能做到的事情。目前，由于越来越多的业务必须要通过网络来实现，而网络中的数据通讯效率问题一直是一个比较大的困扰，网络加速技术的提出才刚刚几年，在经济比较发达的国家已经获得了突飞猛进的发展。由于网络加速技术是需要对网络通讯底层进行优化和改进，技术含量非常高，现在国外几乎所有的网络加速技术全部掌握在美国人手里，美国的几个主要网络加速技术公司的产品广泛的被美国军方及世界的大公©北京瀚维特科技有限公司BeijingHWTTechnologyCO.LTD.：010-51669727（四线）QQ：16214879353司采纳，无论是美国海军还是空军目前都在大量的采购网络加速技术和产品。而目前大多数网络加速技术都主要围绕着延迟问题解决，如压缩技术、缓存技术等，而针对丢包问题的处理技术很少，丢包问题的处理难度非常高。而对于在恶劣网络环境中存储数据通讯、小数据包通讯、加密数据传输、压缩后的数据传输和大多数数据的首次传输等问题，单独使用解决网络延迟问题的压缩和缓存技术效果并不十分明显，传输效率提升非常有限，甚至有的时候没有任何加速效果。要想真正解决网络通讯问题就必需要同时解决延迟和丢包问题，QuickBi正式沿着这个思路苦心研发了多年，终于从根本上有了突破。3技术特点3.1技术特点QuickBi的网络加速技术可以比目前广泛使用的其它网络通讯技术快2—1000倍（比如文件传输应用等）以上速度在恶劣网络中高速交换数据，在广域网中，对于如大数据量（如存储备份等）数据通讯，丢包率每高10％，我们的传输技术和产品可以比传统技术快至少10倍的速度传输，而网络延迟问题对于我们的传输加速技术几乎不受影响。QuickBi网络加速技术是基于拥有完全自主知识产权的Meta-Code(元编码，我们的专利)技术开发出的工作于任何基于IP网路中的应用网络加速技术。QuickBiMetaCode编码技术可以有效的克服丢包和延迟对于网络传输的影响，是QuickBi拥有完全自主知识产权的一种类前向纠错编码（FEC）核心技术，是目前传输效率最高的编码技术，比国际上最先进（如美军普遍使用的通讯编码技术）的编码技术效率高至少2％以上。一般的数据传输受到网络传输质量影响非常大，特别是网络中既有丢包又有延迟时，传输效率非常低下，为了保证传输内容的无误，通常采用FEC技术来保证传输的数据包尽量完整还原，而传统的FEC技术需要在原始数据上增加冗余数据，以确保在丢包的情况下可以恢复原始内容。因此，传统FEC技术的编码及解码时间要求太大，带宽利用率低，传输效率不高，一般比较适合传输量不大的数据传输。MetaCode编码技术不同于传统FEC方式，它理论上可以从有限的数据包生成出无限的编码数据包，每个新的编码数据包都具有‘平等性’，即可以理解为所有生成的编码数据包都是“一样的”，因此，在数据传输过程中，最终传输成功与否从最初的与数据包数量和数据包的内容两个主要参数相关变为只与收到的编码数据包的数量有关，而与收到的编码数据包的顺序和编码数据包本身的内容无关，接收方只要接收到足够数量的编码数据包后就可以瞬间还原原始数据包。因此，将数据传输从至少与3个参数相关变为只与一个参数相关，传输速度和效率程指数性提高。而且，我们的技术并不需要预先知道网络©北京瀚维特科技有限公司BeijingHWTTechnologyCO.LTD.：010-51669727（四线）QQ：16214879354的丢包情况、网络延迟情况等，特别适合在网络质量无法保证或不稳定数据网络（如互联网、移动网络等）中稳定可靠的数据通讯。MetaCode技术具有以下主要特点：可靠性：MetaCode码本身的‘平等性’原则使用户只要接收到足够多的编码数据包，就能保证重建原始内容。丢包或网络连接的不稳定并不会影响MetaCode码可靠地传递数据。高速度：因为数据传输可靠性与发送方无关，接收方与发送方的确认信息可以减到最小，也可以不需要确认，因此，理论上发送方可以以任何设定的速度发送编码数据包，而不象TCP需要进行反复确认，非常容易受到网络延时及丢包问题所影响。缩放性：MetaCode技术不需要反馈通道来保证可靠的数据传递，而且发起端与接收端不需要保持会话连接才能提供数据传输，如组播/广播等服务。因此MetaCode码可以缩放到非常大的并发流量提供服务。MetaCode主要应用领域（部分）1、高速、可靠数据传输MetaCode技术的高可靠、高速数据传输特性可以保证在任何网络中高效率的进行数据传输。特别适合基于广域网的跨ISP（如中国网通与电信等）、跨国网络、无线网络中进行高速数据交换。主要应用领域有：各种网络应用系统加速（如ERP系统、邮件、网络游戏等）、数据库/存储同步应用、WAFS/CIFS应用等。2、单方向数据传输MetaCode技术的无反馈特性可以保证单方向传输的完整与可靠。发送方根据特定算法将足够多的数据包发送出去，接收放只要接收到足够多的编码数据包就可以瞬间还原原内容，而整个过程不需要接收方反馈任何信息，因此其独特的特性的主要应用领域有：卫星数据通讯、移动网络通讯、微波通讯及各种需要单方向数据通讯应用等。3、多媒体组播或广播应用MetaCode技术的‘码平等’和单向特性可以方便的进行高效率的组播或广播应用，可以明显的降低服务器及整个网络压力，节省成本，同时MetaCode码可以和DVB-H标准非常好的融合，提供高码流的稳定广播级服务。主要应用领域有：IPTV广播或点播应用、卫星广播或点播应用、移动网络（如3G）流媒体点播/组播应用等。©北京瀚维特科技有限公司BeijingHWTTechnologyCO.LTD.：010-51669727（四线）QQ：162148793554网络加速技术方案4.1第一部分：接收点到处理点（数据中心）4.1.1总体方案接收点不间断的接收来自于卫星的遥感数据，并需将数据转发到处理点，要能够最大支持800M带宽数据发送能力。接收点在当地选择一家ISP做网络接入，并使用这条链路作为主通讯链路，因此根据用户的这个特点，如果用户不使用任何网络加速产品，则很难保证通讯链路维持百兆以上的不间断通讯。我们选择我们的高端网络加速技术和查品与用户的使用的接收处理系统（或存储管理系统）无缝结合，将我们的网络加速产品作为接收点的底层“通讯平台”，接收点只需要将准备发送的数据提交给我们的加速通讯平台，加速通讯平台就可以将获得的数据进行高效率的加工并使用我们独有的网络加速技术发送到处理点，在接收点与处理点之间可以有效的克服网络通讯中的延迟和丢包问题，从而提供稳定可靠的大带宽数据通讯能力。4.1.2网络架构根据用户的实际情况，在尽量少改动用户现有任何系统系统和架构的前提下，我们提出如下网络架构示意图（这个示意图只示意网络加速产品在整个网络架构中的层次和位置，其它架构层只是作为参考）：©北京瀚维特科技有限公司BeijingHWTTechnologyCO.LTD.：010-51669727（四线）QQ：162148793564.1.3软硬件选型为了能够获得800M稳定带宽吞吐能力，需要对通讯加速服务器做特别的软硬件选择，因此，我们提出如下建议：软件选型软件选型主要是选择操作系统，目前能够获得如此高性能的通讯能力的操作系统只有UNIX及类UNIX（如Linux等），作为综合考虑，建议选择性价比最好的Linux，内核2.6版本以上。硬件选型硬件压力主要来源于通讯过程中的处理，因此必须对CPU、内存进行选