网络流量处理解决方案

3Sept.2008©NeusoftConfidential东软NetEye网络流量处理解决方案Copyright2008ByNeusoftGroup.Allrightsreserved3Sept.2008Confidential我们将了解到•所谓处理：检测和响应•NTARSv2.0产品特性介绍•NTPGv2.0产品特性介绍•解决方案典型应用场景3Sept.2008©NeusoftConfidentialPart1所谓处理：检测和响应3Sept.2008Confidential方案要素3Sept.2008Confidential市场定位•所谓高端网络，指的就是以提供网络骨干传输为主导业务的承载类网络，如运营商承载网、地市级以上城域网、高等院校校园网和大型行业性网络等。在接入用户网络常见拓扑中，一般都会将之放在最上端，并且用云团简单表示•高端网络不直接面向桌面系统提供服务，而是面向客户整体网络提供统一的宽带接入•高端网络一般没有显著的计算资源存在•高端网络是Internet概念的主要实现载体，是各接入客户网络云团之间的唯一互联路径ISP1#ISP2#ISPn#高端网络接入用户3Sept.2008Confidential网络中的点、线、面•“枪挑一条线，棍扫一大片”，设备应用因其角色而异•“点”设备：Anti-Virus、PersonalFirewall•“线”设备：FW、NTPG、IPS、UTM、VPN•“面”设备：合格的SOC、还有我们的NTARS3Sept.2008Confidential传统的工作面SiSi观测设备运行状态检查系统配置文件分析现行路由信息留意链路负载变化然后……忍受大客户的抱怨！3Sept.2008Confidential问题的症结所在视角不同客户相信其所看到的，运维人员相信其所做到的关注点不同：客户关注最终的服务质量，运维人员关注设备平稳运行权责范围不同客户有权得到符合合同要求的服务质量，运维人员则必须在己方范围内独立实现该承诺，然而却无法对客户网络提出额外要求。3Sept.2008Confidential在面上，应该做些什么？确定“点”的定义归纳“线”的特征以“面”来包容所有的“点”与“线”对所有的“点”与“线”加载安全策略3Sept.2008Confidential3Sept.2008©NeusoftConfidentialPart2NTARSv2.0产品介绍3Sept.2008ConfidentialNetworkTrafficAnalyse&ResponseSystem——网络流量分析与响应系统•NTARS定位于骨干网络流量图式的检测分析，通过对链路流量特征信息的提取、建模，实时检测网络中DoS/DDoS攻击、P2P通信、Worm、Spam等网络滥用事件的发生，进而驱动响应系统进行阻断防御。同时，NTARS系统面向管理员提供流量图式、趋势预测、路由抖动等各种针对骨干网络运行状况的统计分析数据，帮助运管人员监控和掌握骨干链路及关键资源的运行情况。请注意我名字中的“R”3Sept.2008ConfidentialNTARS系统结构•收集器(Collector)：主要完成流量收集及特征提取/建模两部分职能。该部分属于系统的低层模块，是系统面向网元设备的接口单元并进行数据上收和格式转换、特征提取等预处理操作，处理逻辑较为简单。该部分对系统整体的影响主要反映在协议支持数量和处理性能两方面；•控制器(Controller)：主要完成模式分析、策略响应并最终提供人机交互GUI界面。控制器Controller是异常流量分析系统中逻辑运算高度集中的单元部分，在收集器上报数据的基础上进行行为判别及智能响应职能。该部分对系统整体的影响主要存在于行为判别准确性、策略响应AI机制和人机交互友好程度几个方面。3Sept.2008ConfidentialNTARS技术原理3Sept.2008ConfidentialNTARS的万国护照•旁路式的检测系统，保护原有网络的稳定性•兼容各类高速链路(如POS、万兆以太等)的数据采集技术•灵活、无损的数据采样技术，可灵活适应网络扩展需求•保持海量处理性能，却颇具应用层DI深度检测能力•ICA智能调度，可对异常流量自动作出实质性抑制3Sept.2008Confidential广泛的检测范围覆盖采集方式支持品牌常用版本备注NetFlowCiscoV1、V5、V7、V8、V9应用最广sFlowFoundry、Alcatel、Extreme等V4、V5描述能力强CFlowdJuniperV5、V8厂商专属NetStream华为V5、V8、V9与NetFlow较为类似IPFIXIETF标准规范RFC3917以NetFlowv9为蓝本SNMPAlmostAllRFC1213/2011~2013提取系统状态信息SPANAlmostAll因产品而异获取原始报文TAP/分光AlmostAll与产品无关获取原始报文动态路由AlmostAllBGPv4、OSPF/RIP路由导出及注入CLIAlmostAllRS-232、Telnet深度介入操作3Sept.2008Confidential智能的ICA复合机制3Sept.2008Confidential详尽的流量流向分析3Sept.2008Confidential高效率的特征沉降加速TFLD©物理介质应用层特征匹配格式化检测加速3Sept.2008Confidential自学习的动态基线调整•“浪”型流量一般具备相对稳定的“平均水位”和较为清晰的波峰波谷界定，其对网络整体服务质量的影响是短暂的，比较适合固定基线和传统动态基线的工作；然而，“涌”型流量却呈现长周期、慢增长、低曲率、大振幅等特点，无法通过固定基线及传统动态基线予以识别，却能够对网络服务质量造成长期、广泛的危害。•对此，NTARS系统采用了由东北大学、东软信息学院和NetEye网络安全实验室持续多年的联合研究成果，实现了多种网络流量趋势预测算法，能够通过对未知特征的网络流量进行一定周期的采样分析后，自动完成对该部分流量的图式建模和基线描述，并持续跟踪实际流量的变化曲率而对基线进行动态调整，从而保证了NTARS系统对于网络流量演变趋势的自学习能力，能够有效避免随机杂波的偶发干扰、显著提高系统检测命中率。3Sept.2008Confidential对增值业务的支持•以较低的投入成本，向全部客户提供全面服务；•集中身份鉴权和粒度化的功能划分，便于向客户提供定向、定量的增值业务销售；•为每个客户提供可定制的安全防护能力，客户可根据己方业务特点自行设置安全策略；•为每个客户提供其所得到的服务质量的履行情况分析报告，增强服务质量的量化分析能力；•为每个客户提供专门的访问接入界面，客户可在访问权限范围内获得对各类分析数据的直接读写控制，保证数据的真实性和透明度。3Sept.2008ConfidentialIDC流量监控为用户带来直接的增值业务•以较低的投入成本，向全部客户提供全面服务；•集中身份鉴权和粒度化的功能划分，便于向客户提供定向、定量的增值业务销售；•为每个客户提供可定制的安全防护能力，客户可根据己方业务特点自行设置安全策略；•为每个客户提供其所得到的服务质量的履行情况分析报告，增强服务质量的量化分析能力；•为每个客户提供专门独立的登录界面，客户可在访问权限范围内获得对各类分析数据的直接读写控制，保证数据的真实性和透明度。3Sept.2008Confidential客户独立的访问界面•IDC流量监控平台，在提供全局的异常流量分析以及保障服务质量的同时，可以通过细致的用户管理权限划分，给客户提供额外的增值服务功能，分配给客户相关服务器或网段地址的数据分析查看的权限，客户可登陆到相应的独立界面进行管理以及查看相关服务器或网段的流量情况。3Sept.2008Confidential提供详细的长期流量监测•IDC流量监控平台系统可在管理员指定范围内生成总流量、特定协议/应用流量、包大小分布等统计报表，并可设置不同时间周期，如最近五分钟的实时数据、任意小时/日/周/月/季度/年或自定义时段的统计数据等。统计结果包括平均值、最大值、最小值、基线值等各项指标，能够以曲线图、饼状图或列表格式显示，并提供Excel、XML等格式进行导出。IDC流量监控平台支持管理员进行报表定制，无论是报表固定模板还是管理员定制报表都可进行定期自动生成并发送。•IDC流量监控平台系统报表模块支持饼状图、柱状图、曲线图、数据列表等多种方式，并可导出为Excel、XML等通用格式。3Sept.2008Confidential提供实时流量检测IDC流量监控平台系统可在管理员指定范围内为客户提供实时流量检测：•根据传输协议（如：TCP/UDP）进行实时流量检测；•根据应用协议（如：TCP80端口，UDP137端口）进行实时流量检测；•根据TOS种类进行实时流量检测；•根据链路帧封包大小进行实时流量检测；•根据源IP地址进行实时流量检测；•根据目标IP地址进行实时流量检测；3Sept.2008Confidential为客户提供异常流量检测•IDC流量监控平台可对实时流量和异常流量进行监控以及分析，对流量进行控制的前提是正确提取当前网络流量中被认为异常的那部分流量特征，并通过源目的IP、协议号、端口号予以标识。•IDC流量监控平台对异常流量的定义是自动学习的。众所周知的攻击行为可以通过IDC流量监控平台内置的并可实时更新的特征库进行描述，而其他隐蔽性比较强或未获得具体特征描述的网络滥用行为(如海量文件传输、新出现的DDoS攻击等)则由IDC流量监控平台根据不断调整的“正常流量图式模型”进行排查。3Sept.2008Confidential长时续航能力•流量分析报告自动生成与定向发送•流量数据自动备份与空间维护能力•流量抑制指令的ICA智能加载与撤销•应用层深度分析的ICA智能调度•外挂协同设备的ICA智能联动与回馈•存储介质硬件化的容灾、扩容机制•关键部件(如CPU、电源)冗余备份3Sept.2008Confidential自动化的响应机制•ICA智能调度•自动溯源定位•黑洞路由注入•可疑流量牵引：引导流量接受进一步处理•QoS调整及流量整形：优先满足关键业务需求3Sept.2008Confidential响应机制之注入黑洞路由•NTars可通过BGP或CLI命令行向路由器注入黑洞路由，使路由器直接抛弃可疑流量，既可对异常流量作出抑制又可避免对路由器效率的影响AS65500AS65000AS64500EBGPEBGPASD路由注入C垃圾桶引导流量B检测命中IBGP3Sept.2008Confidential响应机制之流量牵引及净化•NTars可通过BGP或CLI等方式向路由器注入策略路由，将可疑流量从正常路由路径中剥离出来并将之送入深度分析/过滤模块(如FW、IPS、NTPG)，净化后的流量将由过滤模块再次送入正常路由路径中AS65500AS65000AS64500EBGPEBGPASD路由注入C专项过滤设备引导流量B检测命中IBGP净化流量3Sept.2008Confidential响应机制之调整ACL/Trafficshaping•NTars可自动调整路由器的ACL或流量整形策略，使主要业务应用优先得到带宽资源AS65500AS65000AS64500EBGPEBGPASD策略调整CB检测命中IBGP3Sept.2008Confidential产品型号分布产品型号基本配置市场定位NTARS60001U，30,000records/s3*10/100/1000Base_Tx单电源供电企业级用户NTARS65002U，60,000records/s4*10/100/1000Base_Tx1+1冗余电源供电IDC数据中心NTARS68002U，100,000records/s4*10/100/1000Base_Tx2+1冗余电源供电运营级骨干NTARS88002U，150,000records/s4*10/100/1000Base_Tx