基于大数据的网络安全信息可视化系统研究背景

基于大数据的网络安全信息可视化系统V1.0技术研究报告北京邮电大学目录第一章基于大数据的网络安全信息可视化系统研究背景.........................................................11.1基于大数据的网络安全信息可视化系统研究背景及意义...........................................11.2基于大数据的网络安全信息可视化技术现状...............................................................31.2.1基于网络数据流量的网络安全可视化................................................................31.2.2基于端口信息的网络安全可视化........................................................................31.2.3基于入侵检测技术的网络安全可视化................................................................41.2.4基于防火墙事件的网络安全可视化....................................................................41.2.5其它........................................................................................................................51.3本章小结...........................................................................................................................5第二章基于大数据的网络安全信息可视化系统概述.................................................................62.1基于大数据的网络安全信息可视化的基本形式...........................................................62.2常用的八种数据可视化方法...........................................................................................72.3本章小结.........................................................................................................................12第三章基于大数据的网络安全信息可视化系统关键技术.......................................................123.1用户接口与体验..............................................................................................................123.2图像闭塞性的降低..........................................................................................................143.3端口映射算法.................................................................................................................183.4网络安全态势的评估与入侵分析..................................................................................183.5本章小结.........................................................................................................................201基于大数据的网络安全信息可视化系统V1.0第一章基于大数据的网络安全信息可视化系统研究背景1.1基于大数据的网络安全信息可视化系统研究背景及意义随着网络的普及，互联网上的各种应用得到了飞速发展，而诸多应用对网络安全提出了更高的要求，网络入侵给全球经济造成的损失也在逐年增长。然而目前网络安全分析人员只能依靠一些网络安全产品来分析大量的日志数据，从而分析和处理异常。但随着网络数据量的急剧增大，攻击类型和复杂度的提升，这种传统的分析方式已经不再有效。如何帮助网络安全分析人员通过繁杂高维数据信息快速分析网络状况已经成为网络安全领域一个十分重要且迫切的问题。网络安全可视化技术就是在这种情况下产生的。它将海量高维数据以图形图像的方式表现出来，通过在人与数据之间实现图像通信，使人们能观察到网络安全数据中隐含的模式，能快速发现规律并发现潜在的安全威胁。网络安全可视化的必要性一个安全系统至少应该满足用户系统的保密性、完整性及可用性要求。但是随着网络连接的迅速扩展，越来越多的系统遭受到入侵攻击的威胁。而网络安全产品是人们目前主要依赖的防入侵工具。网络分析人员在使用网络安全产品时，通常通过监视和分析相应的网络日志信息，找出可疑的事件做进一步诊断，最后对确定的异常和攻击做出回应。但是网络分析人员分析如下问题时，通常会遇到如下困难：1）认知负担过重。以入侵检测系统为例，部署与乔治亚州技术学院的IDS传感器平均每天要产生50000个报警，通过传统分析日志信息的方式分析人员在一天有限的时间内很难对这些报警逐一做出详尽的分析和判断。2）交互性不够。当发现可疑事件时，现有的分析方式不能够提供相关数据过滤、事件细节显示等功能以帮助分析人员做出进一步有效的判断。3）缺乏对网络全局信息的认识。分析人员看到的往往都是单一的数据记录，缺乏对网络整体信息的了解，这使得他们很难识别出一些复杂的、协作式的和周期漫长的网络异常事件。4）不能提前防御、预测攻击。通过日志分析的方式很难发现一些新的攻击模式，也很难对攻击的趋势做出预测或者提前进行防范。因此，面对网络安全所面临的种种问题，必须寻求新的方法帮助安全分析人员更快速有效地识别网络中的攻击和异常事件。一个实用的方法是，将网络数据以图形图像的方式表现出来，利用人们的视觉功能处理这些大量的数据信息，即将可视化技术引入到网络安全领域。可视化（也称数据可视化）是一种计算和处理的方法，他将抽象的符号表示成具体的几何关系，使研究者能亲眼看见他们所模拟和计算的结果，使用户以图形图像的方式重新分析数据。将可视化技术引入2基于大数据的网络安全信息可视化系统V1.0到网络安全领域是对现有网络安全研究分析方法的重大变革：1）可视化技术能使人们更容易感知网络数据信息，且每次感知更多信息；2）可以快速识别数据模式和数据差异、发现数据的异常值或错误；3）识别聚类，便于对网络入侵事件进行分类；4）能从中发现新的攻击模式，做到提前防御，对攻击趋势做出预测，等。网络安全可视化的概念及研究步骤数据可视化（DataVisualization）包括科学计算可视化（ScientificVisualization）和信息可视化（InformationVisualization）。其中科学计算可视化是指运用计算机图形学和图像处理技术，将科学计算、工程计算及测量工程产生的数据转化为图形或图像，在屏幕上显示出来并进行交互处理的理论、方法和技术。而信息可视化是用可交互的视觉表达方式来表现抽象的、非物理的数据来增强对数据本质的认识。信息可视化涉及到人类认知学、人机交互、计算机图形学、图像技术、数据挖掘、模式识别等多学科的理论和方法，是一个新兴的研究领域。信息可视化不仅用图像来显示多维的非空间数据，使用户加深对数据含义的理解。而且用形象直观的图像来指引检索过程,加快检索速度。信息可视化目标是帮助人们增强认知能力，显示的对象主要是多维的标量数据，重点在于设计和选择什么样的显示方式，才能便于用户了解庞大的多维数据和他们相互之间的关系。网络安全可视化（NetworkSecurityVisualization）是信息可视化中的一个新兴研究领域，它利用人类视觉对模型和结构的获取能力，将抽象的网络和系统数据以图形图像的方式展现出来,帮助分析人员分析网络状况,识别网络异常、入侵,预测网络安全事件发展趋势旧。它不仅能有效解决传统分析方法在处理海量信息时面临的认知负担过重、缺乏对网络安全全局的认识、交互性不强、不能对网络安全事件提前预测和防御等一系列问题,而且通过在人与数据之间实现图像通信,使人们能观察到网络安全数据中隐含的模式,为揭示规律和发现潜在的安全威胁提供有力的支持。网络安全可视化要处理的往往是高维、无结构化的多变量数据,同时这些数据具有规模大、非数值型等特点;在数据的关联关系上面临着关系隐式化、时间依赖性强、类型多等困难;在绘制方面也没有统一的显示模型。早在1995年mcharA.Becker就提出对网络数据(网络流量状况)而非其拓扑结构进行信息可视化的概念。之后L.Gimrdin和R.F.Erbacher又分别研究了防火墙日志、IDs报警信息的可视化。随着网络安全技术尤其是网络监控、杀毒软件、防火墙和入侵检测系统的不断发展,对网络安全可视化的需求也越来越迫切,从2004年开始,学术界和工业界每年召开一次网络安全可视化国际会议（VisualizationforComputerSecurity，VizSEC），这标志着网络安全信息可视化真正得到大家重视。网络安全可视化的研究,首先是数据源的选取。网络安全可视化技术无论从3基于大数据的网络安全信息可视化系统V1.0早期针对网络数据、入侵检测系统、主机日志的可视化,还是到现在针对网络攻击工具、DNs攻击、无线网络安全事件的可视化,解决不同的问题,均需要选择不同的数据源。其次,可视化结构的选取。网络安全可视化技术的一个关键技术是发现新颖的可视化结构来表示数据信息,建立数据到可视化结构的映射。第三,网络安全信息可视化的实时性、全局和局部信息(Context+Focus)并发显示的设计。目前诸多网络安全产品已有一定的实时功能,但通常只能提供给人们普通的日志信息,网络安全可视化通过对全局和局部信息的并发显示提供给人们更感兴趣的信息。第四,网络安全可视化的人机交互设计阶段。网络安全可视化技术的视图放缩、聚焦、关联数据显示、数据选择和回放、历史数据比较、与防火墙进行联动响应等人机交互功能将使得网络安全产品更加易定制、易操作。1.2基于大数据的网络安全信息可视化技术现状1.2.1基于网络数据流量的网络安全可视化由于端口扫描、蠕虫扩散以及拒绝服务攻击等安全事件在流量方面具有明显的一对一、一对多或多对一的特征,因此此类攻击事件往往在流量方面出现明显的异常,显示网络流量可以帮助网路安全分析人员快速发现网络攻击,更好地防范和抵御网络入侵事件。通常,基于网络数据流量的网络安全可视化技术所使用的网络数据包属性主要有源IP、目的lP、源端口、目的端口、协议和时间等。如NVision将网络数据通过分层方式予以显示,可以检测出一个B级网络内所有主机的流量信息。VisFlowConnection采用平行轴坐标技术表现连接信息,可以详细显示某一个域内所有机器的详细流量,也可以显示内部之间流量,这对