异常流量检测

系统功能结构综合分析数据采集能力方案特点:(1)全网流量数据采集,无需探针,数据传输量微小保守计算公式:实际物理流量每10Gbps,产生流的带宽小于4Mbps10Gbps对应于:2500flow/second(1:500采样比)size=2500*200*8=4Mbps(2)全网性能数据采集，无需探针，性能数据传输量微小保守计算公式:500个拨测性能测量，数据传输量小于50Kbps(3)采用DFI(深度流检测)技术实现全网异常行为(包括攻击行为，如DoS/DDoS,蠕虫等)监测及控制DFI技术监测网络异常行为技术实现原理DoS/DDoS行为如:TCPFlodd等及未知DoS/DDoS行为异常行为监测流程DFI包头特征检测(PatternSignature)特征扫描DFISession行为检测(基于统计分析)异常(否)异常(否)模板特征库特征DoS/DDoS如:Smurf等特征蠕虫如:SQLSlammer等DarkIP,私有IP，协议异常等自定义异常行为检测未知WORM行为，包括模板库中未定义的蠕虫行为恶意扫描行为，包括网络扫描及主机扫描异常(是)异常(是)流量、数据包、session基准线检测异常(是)基准线异常异常行为特征汇聚及异常行为控制异常明细数据记录(细化到会话数据),可以联动xSensor协议分析仪异常(否)正常流流数据DFI技术监测网络异常行为-流包头扫描特征此类检测的特点是逐流检测，计算量小，检测响应时间快，缺点是必须是已知异常行为:如已知异常DoS/DDoS,已知蠕虫病毒，其检测逻辑如下:流数据流数据解析得到数据包头信息，快速匹配异常特征库动态加载已知及用户定义异常特征库动态并行Bloom匹配算法匹配到异常特征DoS/DDoS如:Smurf等特征蠕虫如:SQLSlammer等DarkIP,私有IP，协议异常等自定义异常行为检测未匹配到异常其他类型检测DFI技术监测网络异常-网络行为统计分析基于目标IP的session缓存统计(5秒Buffer)基于源IP的session缓存统计(5秒Buffer)基于源IP+目标端口的session缓存统计(5秒Buffer)网络边界定义(内网范围),基于内网边界过滤流数据流数据基于TCPFlag过滤可疑流数据可疑流基于缓存数据检测session速率是否达到探测器阈值阈值验证达到阈值DoS/DDoS行为如:TCPFlodd等及未知DoS/DDoS行为未知WORM行为，包括模板库中未定义的蠕虫行为恶意扫描行为，包括网络扫描及主机扫描其他检测从属边界边界范围外异常特征学习此类检测的特点是可以在全网范围内检测异常行为，主要是session异常，网络中发生的异常大多属于session级异常这类session级异常是基于三类特征，即固定目标IP如DoS/DDoS,固定源IP如恶意扫描，固定源IP+固定目标端口如蠕虫病毒，它是基准线session异常的补充，因为基准线session异常在运营商及大型网络中很难发现，比如，用户骨干网上的一条40Gbps链路中产生session的速率为:10,000sessions/second,发生一个异常行为DoS/DDoS,session速率增加:1000sessions/second,这样的情况，基准线一般检测不到(session速率的变化率为:1%),基于三类行为特征的检测可以检测这类异常，它是弥补基准线粗粒度检测的不足,同时这种检测可以检测网络中的未知DoS/DDoS,未知蠕虫等。其检测逻辑如下:DFI技术监测网络异常-异常行为跟踪异常行为特征汇聚了:源IP集合，目标IP集合、源端口集合、目标端口集合、应用协议、TCPFlag基于异常行为特征过于异常明细会话信息从异常行为特征中得到异常开始时间(检测时间与异常开始实际时间误差特征扫描:毫秒级统计分析session行为:5-10秒基准线检测:5-10分钟基于行为特征,行为明细数据记录粗粒度:直接记录异常流会话数据细粒度:结合xSensor协议分析仪或第三方DPI设备详细记录异常流过程数据包内容根据实时异常行为的结束时间判断是否结束异常明细数据记录否记录结束是DFI技术监测网络异常-异常行为控制异常行为特征汇聚了:源IP集合，目标IP集合、源端口集合、目标端口集合、应用协议、TCPFlag产生控制策略基于ACL、QoS等技术实现结合异常行为攻击拓扑，在最有效点部署控制策略及规则,实现正常流与异常流的分离及控制与发流源网络设备互动整合第三方清洗设备接口思科Guard华为清洗设备Eudmemon其他防火墙、IDS/IPS等目标IP固定类异常，如DoS/DDoS通过限速、阻断等手段控制源IP固定类异常，如蠕虫、恶意扫描等通过限速、阻断等手段控制基准线类异常通过限速方式控制基于DFI技术、DPI技术的安全及异常监测对比这两类技术在技术层面上是互相补充和互动的关系，他们之间的互补能更好地解决用户网络安全检测问题。但是由于技术实现手段及原理的不同，现在针对DFI和DPI技术实现异常行为检测的不同点，概述如下:(1)DFI由于采用流数据技术的行为检测，很容易实现全网范围，尤其是内网范围的网络异常行为检测，DPI技术主要基于数据包捕获技术进行解析数据包分析，这样在全网内部部署代价非常昂贵，且容易造成网络单点故障的可能性。(2)DPI技术采用基于会话的保存状态信息的异常检测方法由于现有网络流量的不断变大将逐步受到限制,并且网络结构的调整对其检测和部署影响非常大，而DFI技术基于流数据并且基于流量特征向量的检测，网络结构及环境的调整对其影响不大与传统的基于数据包检测技术的异常检测(如:IDS/IPS)等对比而言，基于流的DFI检测异常行为技术，可以实现全网范围内的异常检测，比较适合于运营商、大型网络的内网安全检测。基于DFI技术、DPI技术的安全及异常监测对比传统的入侵检测方法分为两种：基于误用检测（misused-based）方法和基于异常检测。(1)基于误用检测方法需要攻击样本，通过描述每一种攻击的特殊模式来检测。该方法的查准率很高，并且可提供详细的攻击类型和说明，是目前入侵检测商业产品中使用的主要方法。然而经过长时间的研究和应用，该方法也暴露出一定的弱点，由于基于特征的入侵检测系统是依靠人为的预先设定报警规则来实现，所以在面对不断变化的网络攻击时有其本身固有的缺陷，比如，利用这种方法时需要维护一个昂贵的攻击模式库、只能检测已知的攻击等。另一方面，攻击者可以通过修改自己的攻击特征模式来隐藏自己的行为，而且有些攻击方法根本没有特定的攻击模式。(2)基于异常检测方法主要针对解决误用检测方法所面临的问题。这两类方法都存在如下问题:可扩展性较差(1)由于现有的异常检测系统大多采用一种或几种单一的网络特征向量作为学习和判断的依据，对网络流量的异常描述较为单薄；(2)在入侵检测系统协同运行中网络特征向量选取得较少就可能会影响检测系统的可扩展性，基于会话的保存状态信息的异常检测方法由于现有网络流量的不断变大将逐步受到限制。因而在DARPA1998年总结出的判断每一个正常与异常TCP/IP连接的41个特征向量的实时使用就变得越来越难以实现。DFI异常检测是基于将网络流量特征向量分层划分的思想实现的。将流量特征分为两个层次：基本特征集合和组合特征集合。其中基本特征集合是实时从网络流量中提取的一些网络流量的基本特征数据，比如流量的大小、包长的信息、协议的信息、端口流量的信息、TCP标志位的信息等。这些基本特征比较详细地描述了网络流量的运行状态组合特征集合是可以根据实际需要实时改变设置的。针对某种特定的攻击行为，将涉及该攻击行为的基本特征的子集作为描述该种攻击行为的特征。比如对于SYNFLOOD攻击，组合特征就可以选取sessions/s、平均包长、SYN包的个数等信息。利用以往基本特征集合的数据对该种攻击行为的特征进行学习和训练，就可以实时得到该攻击行为组合特征的正常和异常模型。用此模型就可以实时地对网络上该种攻击行为进行检测。提纲系统总体方案系统功能及特色系统软硬件部署项目实施及售后服务实际案例介绍技术澄清&应答方案特点--系统总体特点告警监视/故障定位全网性能/KPI监控全网异常行为监控全网流量监控WEBPORTALWeb浏览器移动客户机纯B/S架构客户端无须安装任何插件，只需有浏览器即可访问系统，真正做到了随时、随地访问业务系统。人性化设计系统主动适应用户操作习惯，如：数据的组织呈现方式等功能，完全仿造windows操作。方案特点–数据探测特点全网范围采集，无需附加探测硬件探针方案采用的技术确保数据探测无需附加硬件探针，对于未来网络结构调整及增加设备、扩容等无需附件额外的硬件探针成本部署灵活方案采用数据(流量数据、性能数据)探测技术，与用户网络特性无关，这与采用探针技术的数据探测方式(需要紧密结合用户网络特性)不同，不需要用户考虑增加硬件探针的部署点等，更有甚者，比如:用户网络内部被外来系统基于技术渗透方式感染蠕虫，如果内网任何角度没有部署探针或者由于用户网络结构调整、设备更新等造成探针没有探测整个内网，就会导致安全监测漏洞，采用本方案的探测技术，无论网络如何变化，没有任何硬件成本附件即可进行全网任何位置进行安全监测，这样渗透进来的蠕虫病毒将无处可藏。系统自维护成本低基于被监控设备及网络的技术特点进行的数据探测技术与基于硬件探针技术进行的数据探测技术相比，在系统自维护方面，成本几何数量降低是显而易见的。方案特点—异常行为监测(NBA)DFI深粒度异常流行为检测异常行为监测异常行为跟踪全局策略管理异常行为清洗管控xFlowTraffic一体化安全防御异监测及管控方法论大型网络、全网、运营级、高性能、分布式动态监测异常流量行为旁路部署系统，不影响现存用户网络运行集中式策略管理,易于策略部署、实施异常流量引流、清洗及管控策略方案特点—异常行为监测(NBA)(1)系统能够在全网中发生异常事件或行为时，实时记录异常明细数据,包括异常行为过程中的各个会话数据,包括源IP,源端口,源掩码,目标IP,目标端口,目标掩码,协议类型,TCP/Flag,源设备接口,目标设备接口,流量大小，数据包数，数据包大小等详细信息(2)基于监测的异常行为，系统能够自动汇聚异常行为的特征及关联受影响的资源(如设备接口，相关联的MPLS/VRF,BGP/AS等信息,并进一步可以形成异常行为拓扑，以便有效的部署策略进行异常防御及清洗方案特点—异常行为监测(NBA)(1)系统内置异常行为控制模块，能够跟行为特征中受影响设备最重要的设备联动，部署策略进行控制，目前支持恶意扫描、网络蠕虫及病毒的控制及异常基准线行为的限速控制，对于DoS/DDoS类的攻击基于受影响设备的异常行为拓扑关系，最大限度控制DoS/DDoS行为，保护用户自身网络，如果想彻底消除DoS/DDoS行为的影响建议采用流量引流方案,因为引流对于DoS/DDoS效果最好(2)流量引流及清洗，系统支持与第三方设备整合，如思科Guard或华为SIG设备方案特点—异常行为监测(NBA)一、全网流量基准线自学习(1)流量基准线支持流量、数据包、Session及关键性能指标(KPI),如设备及关键路由的动态学习及监测(2)基准线采用entropy动态算法，相比较传统的统计均方差的算法而言，该算法更精确及灵敏(3)系统能够根据网络异常情况，自动学习基准线及切换学习和监测模式方案特点—异常行为监测(NBA)(1)系统内置18种DoS/DDoS攻击行为特征库(2)允许用户根据实际情况动态添加DoS/DDoS行为(3)支持未知类型的DoS/DDoS攻击监测异常行为特征(DoS/DDoS类行为)方案特点—异常行为监测(NBA)(1)系统内置7种Worm攻击行为特征库(2)允许用户根据实际情况动态添加Worm行为(3)支持未知类型的网络病毒及蠕虫攻击监测异常行为特征(网络病毒及蠕虫类行为)方案特点—异常行为监测(NBA)异常行为特征(自定义异常行为)方案特点—流量监控(TrafficEngineer