IP网络流量管理技术与架构分析

IP网络流量管理技术与架构分析[e-mail]2006年5月IP网络流量管理技术方案与架构分析21.前言.................................................32.SNMP简介.............................................42.1.MIB简介.........................................62.2.RMON............................................72.3.SNMP报表范例....................................83.Flow................................................123.1.NetFlow........................................123.1.sFlow..........................................153.2.Flow报表范例...................................184.Sniffing............................................205.综合分析............................................20IP网络流量管理技术方案与架构分析31.前言国际标准化组织ISO定义的网络管理包含了下列5大功能：故障管理：FaultManagement。性能管理：PerformanceManagement。配置管理：ConfigurationManagement：。安全管理：SecurityManagement。计费管理：Accounting。而本文的主題：网络流量管理，或可称为网络行为管理，可以涵盖网络故障管理，网络性能管理以及网络使用者认证、计费管理。其中网络的性能管理亦是网络流量管理的主轴。现今的网络流量管理已有多种方式可以实现，主要分为下列几种技术：1、简单网络管理SNMP(RMON)；2、Flow(NetFlow/sFlow)；3、Sniffing。以下分别加以简单介绍并分析其差异，阐述网流管理中最合适的技术方案与架构。IP网络流量管理技术方案与架构分析42.SNMP简介简单网络管理协议（SNMP）是行之多年、应用最广泛的网管协议。目前比较流行的网管系统如HPOpenView，IBMNetView等，大多是透过这个基本的网络通信协议来提供相应的网络管理。遵循SNMP架构需要以下条件：1、若干个（可能很多个）需要被管理的网络接点设备，如路由器、服务器、网络交换机等。2、至少一个管理工作站，用来执行网络管理系统（如：OpenView）。如下图所示：从被管理的网络设备中收集数据信息有两种方法：一种是轮询（polling）方法，另一种是基于中断（interrupt-based）的方法。SNMP使用嵌入到网络设备中的代理软件(Agent)来收集网络的通信信息和IP网络流量管理技术方案与架构分析5有关网络设备的统计数据信息。代理软件不断地收集统计数据，并把这些数据记录到一个管理信息库（MIB）中。网管系统通过向代理的MIB发出查询就可以得到这些信息。这个过程就叫轮询。为了能够全面地查看一天的通信流量和变化率，网管系统就必须不断地轮询SNMP代理，比如每分钟就轮询一次。这样，网管员就可以使用SNMP来评估整个网络的运营状况，并揭示出流量的变化趋势，如那一个网段的载荷已经接近设备的标称能力。轮询方式的主要缺点在于信息的实时性差。尤其在网络发生问题时，多久轮询一次，轮询时选择什么样的设备顺序，都会对轮询的结果产生影响。轮询的时间间隔太小，会产生太多的不必要的网间流量；间隔太大，而且轮询的时序不对，那么，对于一些大的、突发的灾难性事件的通知又会太慢，就违背了积极主动的网络管理目的。以之相比，当网络发生异常时，以中断(SNMPTrap)的方法可以立即通知网管系统，实时性较好。但相对可传送的信息内容则较为贫乏，大多为较严重的网络故障信息，如硬件故障、网络断线等。IP网络流量管理技术方案与架构分析62.1.MIB简介SNMP定义了网络管理信息传送的方式，同时也定义了管理信息库，也就是MIB(ManagementInformationBase)。它是一个树状型结构的资料库。OSI为MIB定义了标准的资料结构，同时也预留了扩充空间供各设备厂商自行定义。如下图所示：.iso-itu2iso1itu0org3dod6internet1private4enterprise1IBM2mgnt2Mib-21Cisco9Microsoft311RMON16System1IP网络流量管理技术方案与架构分析7MIB引入标号的目的是用来简化管理对象标识符的使用和处理，鉴于计算机系统又擅长处理数字，因此MIB自身在管理信息结构（SMI）框架中的表示就更趋向于规范。例如：以下以最基本的网络流量为例，定义在：.iso.org.dod.internet.mgmt.mib-2.interfaces.ifTable.ifEntry.ifInOctets在计算机中用数字表达为：（.1.3.6.1.2.1.2.2.1.10）见下图例：图例中：Counter形态，表示该数值会不断累计。OID定义该界面所接受的流量总数。读取第二个网络端口，得到15832938的数字。因此可得，该网络端口至目前为主已经接收了约15.8M的流量信息。2.2.RMON远程网络监控（RMON）是和SNMP同一时期出现的，主要是为了扩展SNMP的管理信息库（MIB－II），使SNMP更为有效、更为积极主动地监控远端网络设备。RMONMIB由一组统计数据、分析数据和诊断数据构成，较以往的MIB提供更多的数据信息。IP网络流量管理技术方案与架构分析82.3.SNMP报表范例SNMP可提供网络拓扑图(Topology)，如下图所示：SNMP所提供的信息多为采样数据或是统计数据。因此，提供的报表多为曲线图或条形图，且大多数仅有流量信息，较缺乏行为模式的相关信息。下图为从路由器输出的网络界面，呈现日、周、月、年之流量报表：IP网络流量管理技术方案与架构分析9网络流量曲线图：IP网络流量管理技术方案与架构分析10IP网络流量管理技术方案与架构分析11很多设备可以通过SNMP来提供系统负载信息，如CPU使用率、内存使用量等，但多为采样时的瞬间值，如下图所示：系统负载曲线图：内存用量曲线图：IP网络流量管理技术方案与架构分析123.Flow近年来，流量管理（Flow）技术的应用在不断上升，主要源自于人们对网络应用和相关流量的日益关注，如何有效地了解、掌握和控制网络流量就成为网络管理人员特别关注的内容。3.1.NetFlowNetFlow是Cisco公司的IOS软件的一部分，是一种数据交换方式。其工作原理是：NetFlow利用标准的交换模式处理数据流的第一个IP包数据，生成NetFlow缓存，随后同样的数据基于缓存信息在同一个数据流中进行传输，不再匹配相关的访问控制等策略，NetFlow缓存同时包含了随后数据流的统计信息。一个NetFlow流定义为在一个源IP地址和目的IP地址间传输的单向数据包流，且所有数据包具有共同的传输层源、目的端口号。完整的NetFlow应用分为三层架构：网流数据采集输出（Exporter）：具有Net-Flow功能的网络设备，輸出Flow数据至转换装置（Mediationdevices），如Cisco、RetiCorp等出产的路由器、L3交换机，以及架设在网内的网络嗅探器（Sensor）设备，如RetiCorp的NexusSensor以及iFI－Sensor等设备。网流数据采集转换（Mediationdevices）：接收Flow数据的分析服务工具，并将其转变为可读的格式以供分析程序产生报表，如CiscoNetFlowCollector（NFC），RetiCorp的NexusSensor等。统计分析程序（TrafficAnalysisTools）：如CiscoNetworkDataAnalyzer、RetiCorp的Auditor系统，iFlowInsight系统等。IP网络流量管理技术方案与架构分析13NetFlow应用框图：IP网络流量管理技术方案与架构分析14NetFlow所定义的资料格式如下表：AddressSourceIPAddressDestinationIPAddressSourceASNumberDestinationASNumberSourceSubnetMaskDestinationSubnetMaskInterfaceInputphysicalinterfaceOutputphysicalinterfaceNexthopaddressApplicationSourceTCP/UDPportDestinationTCP/UDPIPprotocolStatisticsPacketcountTOSbyteBytecountTCPflagStarttimestampEndtimestamp例如，经过处理后可以得到如下的资料：SifSrcIPaddressDifDstIPaddressPrSPDPPktsOctets0000195.254.117.1680000140.131.7.3010095040000205.188.248.890000163.218.16.20650fdb65589000061.229.48.830000192.192.120.180645417124930000207.218.223.1620000192.83.193.21135800011560000207.159.149.840000140.131.1.1880100105600000202.178.164.1690000203.64.48.10706719e61400000168.95.1.10000203.71.92.11135a82c11870000210.224.163.30000210.71.107.3113bce35171000066.107.130.760000163.218.16.20650fdde6782我们以上面斜体标出的资料做说明：1.由设备的第一个网络端口送出(SourceInterface=0)IP网络流量管理技术方案与架构分析152.由源地址：66.107.130.76(SourceIP)送出资料3.目的网络端口为0(DestinationInterface=0，第一个网络端口)4.资料传送到目的地址为：163.218.16.2(DestinationIP)5.IP协议为TCP(06是TCP的代码)6.来源TCP端口是80(16进制50，换算为10进制为80)7.目的TCP端口64990(同上)8.共传送了6个封包9.共782bytes3.2.sFlowsFlow（RFC3176）是基础于SNMP的Flow导出的协议，在RFC中所定义的架构如下图所示：IP网络流量管理技术方案与架构分析16NetworkDeviceAgentSub-AgentDataSourceInstanceInstanceDataSourceSub-AgentNetworkDeviceAgentCollectorSNMPDatagramCollectorSNMPDatagramsFlow架构源于SNMP，因为它与SNMP一样以设备的代理程序(Agent)提供信息，同时也具有管理信息库MIB，但其导出的流量信息资料的格式远比传统的SNMP取样或统计式的数值复杂且详细许多，因此具有与NetFlow相同的流量收集（Collector）及分析（Analyzer）功能。以NetFlow的架构来说，设备上的代理程序（Agent）相当于数据信息库输出（Exporter）的角色。s