数据挖掘在信息安全方面的应用网络流量分析（PDF93页）

第六章网络流量分析目录流量分析介绍网络流量的采集方法常用的网络流量分析模型及方法小结16/08/022第六章网络流量分析流量分析介绍•随着网络基础设施提升和移动互联网的发展，如何有效的识别和管理网络上的流量变得越来越迫切。•网络流量分类(NetworkTrafficClassification)热点1.网络流量分析2.网络流量分析的目的3.网络流量分析的现状4.网络流量分析的流程16/08/023第六章网络流量分析网络流量分析•网络流量分析是动态适应，不断调整的处理过程•网络流量分类是基于TCP/IP的互联网络中，按照网络的应用类型将网络通信产生的双向TCP流或UDP流进行分类•需求分析•数据采集•数据挖掘•结果评估16/08/024第六章网络流量分析常见网络应用类型FTP、DNS、、P2P等网络流量分类•基于端口号映射、基于有效载荷分析、基于机器学习等采用动态端口、协议加密传统方法达不到满意效果•查看数据包的内容（涉及隐私）目前流分类算法可靠的流量分类16/08/025第六章网络流量分析网络流量的分类•在线检测是在运行着的网络链路上实时采集包追踪数据或IP数据流•较小空间复杂性和较低的计算复杂性•如何设计在线检测算法以适应高带宽主干网络链路的检测需求!•基于特征/行为的检测技术入侵检测工具•基于采样、哈希、概略、包分类等•在线和离线分析16/08/026第六章网络流量分析网络流量的分类•离线检测是指对网络流量数据进行离线分析，检测网络异常及对网络进行性能分析和预测。•数据分析和处理的时间周期比较长网络管理及安全分析和预测方面•统计分析技术及流挖掘技术实现•在线和离线分析16/08/027第六章网络流量分析常基于定时采集的SNMP网络流量的分类•基于流:输入的数据流进行预处理，每个数据包生成一个五元组，存入数据组，再使用相关算法分析，得出分析结果，以报告或者图表的方法显示出来•流(Flow):在同一组特定源地址和目标地址、源端口和目的端口之间传输的，有固定协议类型，有开始和结束时间的数据包的集合•基于流的分析方法•基于非流的分析方法16/08/028第六章网络流量分析网络流量分析目的•帮助运营商了解网络流量的分布，带宽的使用情况，方便进行维护和计费等•帮助网络管理员了解网络流量分布，合理规划和升级网络，对应用进行管理•识别网络上的安全威胁（异常，恶意行为）和未知应用等16/08/029第六章网络流量分析网络流量分析现状•国内外的网络流量分类技术主要有：端口分类，特征码分类，BLINC(Blindclassification)分类，基于统计特征的机器学习方法，基于数据挖掘的网络流量分析等。在网络流量分析中引入分类和聚类方法16/08/0210第六章网络流量分析网络流量分析流程收集网络流量16/08/0211第六章网络流量分析网络流量分析流程收集网络流量提高效率数据预处理16/08/0211第六章网络流量分析网络流量分析流程收集网络流量提高效率数据预处理任务相关数据应用网络流量分析算法16/08/0211第六章网络流量分析网络流量分析流程收集网络流量提高效率数据预处理任务相关数据应用网络流量分析算法得出有意义的模式分析结果和报告16/08/0211第六章网络流量分析网络流量分析流程收集网络流量提高效率数据预处理任务相关数据应用网络流量分析算法得出有意义的模式分析结果和报告文字或图表等方式向ISP16/08/0211第六章网络流量分析网络流量的采集方法1.流量采集概述2.流量采集方法3.流量采集的问题4.网络流量数据集16/08/0212第六章网络流量分析数据包从发送方到接收方需要经过多个网络设备转发合适的网络位置捕获网络流量考虑采集数据的类型以及数据的TCP/IP协议层次全部or部分采集软件or硬件采集…流量采集方法个人用户利用流量采集软件，Wireshark，Snort，Sniffer…网络设备网络管理员和运营商基于端口的镜像集线器数据的捕获16/08/0213第六章网络流量分析流量采集方法•存在的问题效率存储容量安全问题16/08/0214第六章网络流量分析在高速骨干网上采集网络流量要求相应的网络设备具有更高的处理速度和能力不同的网络环境对存储设备的要求不一样为防范隐私泄露所采用的技术使得流量采集途径被限制网络流量数据集(TheCooperativeAssociationforInternetDataAnalysis)àdegliStudidiBrescia(WidelyIntegratedDistributedEnvironment)(WaikatoInternetTrafficStorage)16/08/0215第六章网络流量分析常用的网络流量分析模型及方法•网络流量行为特征的分析还可以在不同测量粒度或者不同的层面上展开•比特级(Bit-level)的流量分析•分组级(Packet-level)的流量分析•流级(Flow-level)的流量分析1.流量分析模型2.常用的流量分析方法3.数据挖掘方法在流量分析中的应用4.其他的流量分析方法16/08/0216第六章网络流量分析流量分析模型•比特级(Bit-level)的流量分析主要关注网络流量的数据特征，如网络线路的传输速率，吞吐量的变化等等。•分组级(Packet-level)的流量分析主要关注的是IP分组的到达过程、延迟、抖动和丢包率等•流级(Flow-level)的流量分析，Flow的划分主要依据地址和应用协议展开，它主要关注流的到达过程、到达间隔及其局部的特征。16/08/02第六章网络流量分析17小粒度大小时间尺度大流量分析模型•毫秒级的细时间粒度的网络流量行为主要受到网络协议的影响；•小时以上的粗时间粒度的网络流量行为主要受到外界因素的影响•两者之间的秒时间粒度上的网络流量则表现为自相似性。16/08/02第六章网络流量分析18常用的流量分析方法•1.基于端口的方法•2.基于特征码的方法•3.基于传输层的流量识别技术•4.利用统计特征的流量识别技术16/08/02第六章网络流量分析19基于端口的方法•基于端口的流量分类方法实现简单、判定速度快，且适于硬件实现，该方法一般用于高速网络的流量粗选。TCP/IP数据的封装结构16/08/02第六章网络流量分析20用户数据应用层传输层网络层链路层用户数据应用层头部用户数据用户数据应用层数据报TCP报文段/UDP数据报IP数据报以太网帧应用层头部TCP/UDP头部应用层头部TCP/UDP头部IP头部用户数据应用层头部TCP/UDP头部IP头部帧头帧尾基于端口的方法TCP头部格式UDP头部格式16/08/02第六章网络流量分析21源端口号目的端口号数据校验和紧急指针序号确认号数据偏移窗口大小标志位保留选项和填充TCP头部固定头部，20字节32bit源端口号目的端口号数据长度校验和UDP头部8字节32bit基于端口的方法•IANA最初是按先到先得的原则分配服务名称，规定系统应用的端口号范围为0~l023，用户应用的端口号范围为1024~49151，动态端口号或私有端口号范围为49152~65535。•如今，IANA端口号分配表中注册的一些用户应用端口已被新出现的应用服务所替代或占用，维基百科给出了一个更接近现实网络情况的端口服务映射表16/08/02第六章网络流量分析22常见端口列表16/08/02第六章网络流量分析23端口描述状态20/TCP,UDP文件传输协议-默认数据端口官方21/TCP,UDP文件传输协议-控制端口官方22/TCP,UDPSSH(SecureShell)-远程登录协议，用于安全登录文件传输(SCP，SFTP)及端口重新定向官方23/TCP,UDPTelnet终端仿真协议-未加密文本通信官方25/TCP,UDPSMTP（简单邮件传输协议）-用于邮件服务器间的电子邮件传递官方53/TCP,UDPDNS（域名服务系统）官方69/UDPTFTP（小型文件传输协议）官方80/TCPHTTP（超文本传输协议）-用于传输网页官方81/TCPHTTP预备（超文本传输协议）官方110/TCPPOP3（“邮局协议”，第3版）-用于接收电子邮件官方143/TCP,UDPIMAP4(InternetMessageAccessProtocol4)-usedforretrievingE-mails官方161/TCP,UDPSNMP(SimpleNetworkManagementProtocol)官方162/TCP,UDPSNMPTRAP官方220/TCP,UDPIMAP，交互邮件访问协议第3版443/TCPHTTPS-HTTPoverTLS/SSL（加密传输）官方993/TCPIMAP4overSSL(encryptedtransmission)官方995/TCPPOP3overSSL(encryptedtransmission)官方基于端口的方法遇到的问题随着网络应用的发展与普及，大多数的网络应用允许用户手动选择来设置默认的端口号许多新出现的网络应用为了躲避流量限制，往往会使用动态的端口来进行数据传输，而不是使用一个公共不变的端口，无法有效的识别网络流量端口控制粒度太粗，易出错通过端口方式能够识别的协议类型非常有限16/08/02第六章网络流量分析24基于特征码的方法•依据IP数据包中具有的协议特征码进行流量识别。•特征码的识别方法主要用来识别P2P流量•通过分析捕获到的网络数据包，找到每个网络应用的固定特征码，利用这些特征码就能有效的识别不同的网络应用。•特征码识别技术是一种基于应用层信息的识别方法16/08/02第六章网络流量分析25基于特征码的方法•对于可以采用特征码识别的业务，必须对不同协议的数据包进行单独分析，因为它们的协议都是自定义的非标准协议。•特征码检测法适用于常见的应用，能识别出大部分的业务流量，如eDonkey、eMule、KAZAA、BitTorrent、Gnutella等。16/08/02第六章网络流量分析26基于特征码的方法•特点16/08/02第六章网络流量分析27检测准确率高，不受端口的变化影响数据包的静态标识特征需要不断的更新和增加高资源消耗基于传输层的流量识别技术BLINC方法基于签名，工作原理是：•基于主机的应用行为来分类网络连接，把主机模式分为三个层次：16/08/02第六章网络流量分析28分析和目标主机通信的主机数量按照提供的服务分析主机的功能按照应用的类型生成分类图利用统计特征的流量识别技术•使用NetMate工具根据5元组把数据包划分为不同的流，并计算各种参数，如平均包长，平均间隔时间，流持续时间等。•为进一步提高执行速度，还可以对每条流进行采样。•之后将流的统计数据以及流的属性模型用于自分类的机器学习算法，无监督的贝叶斯识别技术。•机器学习的时间越长，分类的准确性越高，一旦达到一个标准，就可以对后续的输入数据流自动分类16/08/02第六章网络流量分析29利用统计特征的流量识别技术•特点：•分析已知业务的流量特征，除了取得流量组成的基本信息之外，将精力集中在统计一种业务的数据包的字节大小分布、数据包间隔分布、流字节大小分布、流间隔分布、流量间的连接特性等上，然后将从中得到的固定规律应用到未知的网络流量上。•不需要获取用户数据包的有效载荷，不会涉及到用户隐私问题。•有些特征对网络动态变化极其敏感•识别过程比较复杂，计算量非常大•不能精确的定义出每个业务的名称。16/08/02第六章网络流量分析30数据挖掘方法在流量分析中的应用•现在已经有多种数据挖掘技术应用于网络流量分析，使用数据挖掘技术可以在流量中找到隐含的、有用的流量特征，然