基于大数据的网络安全分析

基于大数据的网络安全分析作者：蓝盾研发中心-刘峰今年接手SOC产品研发，产品经理一直强调核心是事件关联分析，数据大集中后挖掘各种安全隐患，实时性关联分析以及识别或预防各种未知的攻击是技术难点。了解了一下，SOC已进入3.0时代，随着大数据技术的成熟，各个竞争对手都引入大数据平台解决先前无法解决的各种技术问题，比如大数据量存储、实时在线分析，以及各种机器挖掘技术，虽然有技术难度，但比较好的是大数据技术最近才成熟流行起来，大型的互联网公司和运营商虽然已掌握，但大部分公司和产品还未采用或者正在研发，大家基本上都在同一个起跑线上，由于大数据必须与业务紧密结合才能发挥价值，对我们来说是一个机会，正好赶上。当前的挑战当前网络与信息安全领域，正面临着全新的挑战。一方面，伴随大数据和云计算时代的到来，安全问题正在变成一个大数据问题，企业和组织的网络及信息系统每天都在产生大量的安全数据，并且产生的速度越来越快。另一方面，国家、企业和组织所面对的网络空间安全形势严峻，需要应对的攻击和威胁变得日益复杂，这些威胁具有隐蔽性强、潜伏期长、持续性强的特点。面对这些新挑战，现有安全管理平台的局限性显露无遗，主要体现在以下三个方面1.数据处理能力有限，缺乏有效的架构支撑：当前分析工具在小数据量时有效，在大数据量时难以为继，海量异构高维数据的融合、存储和管理遇到困难；安全设备和网络应用产生的安全事件数量巨大，IDS误报严重，一台IDS系统，一天产生的安全事件数量成千上万，通常99%的安全事件属于误报，而少量真正存在威胁的安全事件淹没在误报信息中，难以识别；2.威胁识别能力有限，缺乏安全智能：安全分析以基于规则的关联分析为主，只能识别已知并且已描述的攻击，难以识别复杂的攻击，无法识别未知的攻击；安全事件之间存在横向和纵向方面（如不同空间来源、时间序列等）的关系未能得到综合分析，因此漏报严重，不能实时预测。一个攻击活动之后常常接着另外一个攻击活动，前一个攻击活动为后者提供基本条件；一个攻击活动在多个安全设备上产生了安全事件；多个不同来源的安全事件其实是一种协作攻击，这些都缺乏有效的综合分析3.安全预判能力有限，缺乏对抗能力：安全运营以被动应急响应为主，难以对风险进行提前的评估与研判，总是疲于救火。SOC3.0时代来临SOC3.0以大数据分析架构为支撑，以业务安全为导向，构建起以数据为核心的安全管理体系，强调更加主动、智能地对企业和组织的网络安全进行管理和运营。在DT时代，SOC3.0的核心要素是：业务、主动、智能、大数据。业务用户的业务系统是安全的终极保障对象，以业务为核心的安全就是要从业务四要素（支撑环境、流程、数据和人）出发去保障业务安全，并通过建立指标体系来度量安全效果。主动强调构建主动的安全机制，进行前摄性的安全防御，包括集成漏洞管理、配置核查，并引入外部威胁情报，进行积极的安全预警和主动运维。智能强调建立起智能化的安全分析能力，既要保留现有基于规则的关联分析，也要利用更加丰富的情境数据（漏洞、情报、身份、资产等信息）进行情境关联，更要借助诸如行为分析、机器学习、数据挖据等技术来做到知所未知。大数据大数据时代的安全管理必然是数据驱动的，必须以大数据架构为支撑，基于大数据技术重新构建信息采集、数据融合、事件存储、高级安全分析、态势感知和可视化等安全管理能力。事件关联分析场景介绍对于每套系统管理都有它的安全防护措施，只不过是安全孤岛，但是万物之间必然有它的联系，将这些日志联系到一起分析，就是关联分析，这里关联的好坏就决定于他的关联库、关联规则和知识库。场景一针对一个典型的网络构成如下图，介绍基本的关联分析过程：1.路由器记录所有数据包通过的信息2.防火墙根据指定的策略记录下所有允许和丢弃的数据包访问信息3.IDS对所有数据检测后，记录可疑数据包的告警信息4.应用服务器记录对各种服务的访问信息以及进行的文件操作场景二对于WEB漏洞发起的攻击包检测，通常经历下面几步：1.IDS检查到对目标WEB服务器的漏洞攻击包2.检查路由器日志，触发告警的包是否通过路由器3.分析防火墙日志，过滤器是否拦截攻击包4.检查服务器文件完整性，运行Tripwire检查文件完整性，查看文件权限是否修改5.分析syslog输出或服务器事件日志，检查攻击是否真正发生通过上述分析，基本确定一个攻击事件是否发生，需要通过分析许多相关设备日志信息，同时能够追溯到攻击源，从全局来观察攻击事件的开始、发展、结束过程以及是否造成危害场景三1.比如在VPN服务器日志显示张三3:00钟，从外面登陆到内部网2.在3:05分登陆FTP服务器，并在FTP服务器上下载了某个文件3.在门禁系统的日志显示张三在不久前刚刚进入办公区域这三个日志可以关了出一个安全事件场景四1.某公司核心数据库前端部署了防火墙系统，某日安全系统监测发现张三登陆了MySQL数据库服务器2.但是在防火墙日志中并没有发现张三的访问日志这说明张三很有可能绕过防火墙直接登陆数据库服务器场景五1.网络中OpenVAS扫到某台Linux主机存在的Apache2.2.xScoreboard（本地安全限制绕过）漏洞2.与此同时，NIDS检测到了一个正在对该主机漏洞扫描的尝试攻击事件，如果此时该Linux服务器打上了相应补丁，则关联分析结果不会报警，如果没有，此时应该会产生报警关联分析类型数据关联：将多个数据源的数据进行联合（Association）、相关(Correlation)或组合（Combination）分析，以获得高质量的信息。它将不同空间设备的日志，不同时间序列存在的问题进过特定关联方法结合在一起，最终确定工具的分析方法。交叉关联：它是最常见的数据关联方式，可以将安全事件与网络拓扑、系统开放的服务、设备存在的漏洞进行关联匹配，以分析攻击成功的可能性。利用这种关联方法可以检测到某些威胁，并实现自动响应（比如发出告警等）。情境关联:将安全事件、故障告警事件与当前网络、业务、设备的实际运行环境、状态、重要程度进行关联，透过更广泛的信息相关性分析，识别安全威胁。情境关联可以根据事件的特点结合不同情境进行关联分析，扩展成不同的功效。参考下面几种：与漏洞信息关联：将安全事件与该事件所针对的目标资产当前具有的漏洞信息进行关联，包括端口关联和漏洞编号关联；（如：IDS告警源IP对目的IP进行漏洞攻击&目的IP存在该编号的漏洞&该漏洞是个高危漏洞）与资产信息关联：将事件中的IP地址与资产价值、资产类型、自定义资产属性（如密级）等进行关联判断事件的准确性与风险程度；（如：IDS告警源IP对目的IP进行SQL注入攻击&目的IP是个WEB应用服务器&该WEB应用是个机密性很高的系统）与性能状态关联：将事件中的IP地址与设备的当前对应性能指标关联判断事件的准确性与风险程度；（如：IDS告警源IP对目的IP进行SYN攻击并且目的IP的响应参数明显降低或不响应）与网络状态关联：将安全事件与该事件所针对的目标资产（或发起的源资产）当前发生的告警信息以及当前的网络告警信息进行关联；（如：IDS告警存在ARP攻击&发生攻击的网段大部分设备掉线&只有某台设备在线-基本可以判定该设备就是攻击源）与物理拓扑关联：根据网络物理拓扑信息进行网络连接关联分析与网络路径可达性检测，自动进行网络根本故障源定位。（如：某区域终端设备突然全部掉线&这些终端都连接同一个交换设备&该交换机也属于掉线状态&该交换机上联的网络设备在线-基本可以判定该交换机是故障源）逻辑关联：等于、不等于、大于、小于、不大于、不小于、与、或、非、位于……之间、属于、包含、FollowBy等逻辑或数学运算式的关联分析方式。如：目的IP=192.16.0.66&（目的端口=80||目的端口=8088）统计关联：对单位时间内日志某个或多个属性进行统计计数分析，关联出达到一定统计规则的事件。如：一分钟内某个源IP连续向某个目的IP发送2000个SYN半连接包时序关联：按照某些事件发生的时序进行关联分析。根据某些攻击行为、网络故障特征，可通过时序关联来设定相应的分析规则，达到事前警告、事中阻断的效果。如：某源IP先对某目的IP的所有端口进行连接，然后IDS告警源IP对目的IP进行漏洞攻击；大数据分析场景基线分析：将重要设备或业务的安全关键点要素（如服务器上的账户信息、权限信息、端口开放信息、进程启动信息、服务启动信息、网络连接信息）进行基线分析，通过单个或多个关键点的变动进行综合分析，达到对威胁的确认。如：某台服务器突然增加了个登录账号；突然打开某个端口，并且向外部连接；宏观态势分析：基于时间周期同比对某一类或整体事件数进行宏观分析，判定当前网络整体性能或安全状况、预测后期网络性能或安全的态势。如：今天某个时段的IDS告警量突然比之前同一时段增加很多（由于同一时间段网络的使用情况应该是相差不大的，告警量的突增标明网络中肯定存在某些威胁或故障）大数据的切入点分析引擎实现实时关联分析实现离线分析实现态势评估：包括关联分析（CorrelationAnalysis）、态势分析（SituationAnalysis）、态势评价（SituationEvaluation），核心是事件关联分析。关联分析就是要使用采用数据融合（DataFusion）技术对多源异构数据从时间、空间、协议等多个方面进行关联和识别。态势评估的结果是形成态势评价报告和网络综合态势图，借助态势可视化为管理员提供辅助决策信息，同时为更高阶段的业务评估提供输入。业务评估：包括业务风险评估（BusinessRiskAssessment）和业务影响评估（BusinessImpactAssessment），还包括业务合规审计（BusinessComplianceAudit）。业务风险评估主要采用面向业务的风险评估方法，通过业务的价值、弱点和威胁情况得到量的出业务风险数值；业务影响评估主要分析业务的实际流程，获知业务中断带来的实际影响，从而找到业务对风险的承受程度。预警与响应：态势评估和业务评估的结果都可以送入预警与响应模块，一方面借助态势可视化进行预警展示，另一方面，送入流程处理模块进行流程化响应与安全风险运维。异常检测引擎异常检测引擎将网络数据包和与正常行为模型进行匹配，凡是匹配成功的，将该数据包扔掉，通过异常检测引擎可以过滤掉大量正常数据包，从而提高入侵检测的效率，大大提高入侵检测的速度。其检测步骤可以描述如下：l对捕获的网络数据包进行相应标准化的处理；2计算所网络数据包与正常网络行为模型相似度；3假如相似度小于聚类半径r，则表明该网络数据包其是正常数据，可以将其丢弃；4假如相似度大于聚类半径r，表明该数据包是异常数据包，可以将其放到异常日志中，等待关联分析器进行关联分析，确定其是入侵行为还是正常行为。1.4.2聚类分析模块系统聚类分析模块就是根据聚类分析的思想，对网络数据包进行分类，网络数据包可区分为正常网络行为和异常网络行为。然后构建出正常网络行为模式，作为预检测引擎进行网络数据检测的依据。聚类分析模块使用k-means聚类分析算法进行设计。传统k-means算法只适合处理连续型的数据，而对于离散数据是没有办法直接进行处理的，且k-means