大数据驱动的威胁情报技术优化及验证---需求规格说明书

运营商大数据驱动的威胁情报技术优化及验证-开发需求说明书中国电信上海研究院2018年1月运营商大数据驱动的威胁情报技术优化及验证需求说明书2修订记录日期版本说明作者运营商大数据驱动的威胁情报技术优化及验证需求说明书3目录1引言........................................................................................................................41.1编写目的...................................................................................................41.2项目背景...................................................................................................41.3缩略语.......................................................................................................42平台概述................................................................................................................42.1平台描述...................................................................................................42.2平台功能...................................................................................................52.3开发环境...................................................................................................52.4一般约束...................................................................................................63架构及技术要求....................................................................................................63.1平台架构及系统流程技术要求...............................................................63.2数据采集层技术要求...............................................................................73.2.1数据采集层技术要求...............................................................................73.2.1.1数据采集接口技术要求...........................................................73.2.2采集数据类型及格式要求.......................................................................73.3数据存储层技术要求...............................................................................83.4数据计算分析技术要求...........................................................................83.4.1分布式计算能力.......................................................................................83.4.2深度学习能力...........................................................................................93.4.3快速检索查询能力...................................................................................93.5数据呈现层技术要求...............................................................................94僵尸网络检测模块功能需求................................................................................95WEB入侵攻击状态检测模块功能需求............................................................106URL欺诈检测模块功能需求.............................................................................117系统管理..............................................................................................................127.1用户权限管理.........................................................................................127.2用户登录.................................................................................................128检测模型管理......................................................................................................129知识库管理..........................................................................................................12运营商大数据驱动的威胁情报技术优化及验证需求说明书41引言1.1编写目的本文档用于阐明运营商大数据驱动的威胁情报技术优化及验证项目的体系架构、总体设计方案、功能需求以及本平台开发目标，开发环境等。该需求说明书的读者为运营商大数据驱动的威胁情报技术优化及验证项目的设计与开发人员。1.2项目背景网络安全态势日趋复杂，新型攻击手段层出不穷，电信海量数据中存在的威胁不断增加，威胁情报检测平台也应朝着细粒度、完整性、准确性方向发展。16年开发的运营商大数据驱动的威胁情报原型系统已具备对僵尸网络、钓鱼网站、SQL注入等威胁情报检测能力，但是检测威胁类型较少，且由于数据源类型较少对威胁情报的检测仍存在覆盖面不广、深入性不足、准确性不高等问题。本项目在去年院长基金项目所形成的原系统基础上，接入更多的电信管道数据，运用数据分析、深度学习算法等建立模型，挖掘出更丰富、更全面威胁情报，建立更加健壮的威胁检测平台，强化威胁感知，提升信息安全。1.3缩略语XSS跨站脚本攻击HDFSHadoopDistributedFileSystem2平台概述2.1平台描述运营商大数据驱动的威胁情报技术优化及验证平台实现海量信息的采集、预处理、存储、安全分析、呈现等能力，通过从网络侧部署的DPI设备中采集DPI数据等信息，基于Hadoop平台的分布式存储与计算框架，进行建模分析僵尸网络、Web攻击等安全事件及数据间关联关系，实现对网络安全状况的深度感知，运营商大数据驱动的威胁情报技术优化及验证需求说明书5为网络运营管理提供可视化的安全分析工具。2.2平台功能平台将主要包括如下功能：运营商大数据驱动的威胁情报技术优化及验证平台实现海量信息的采集、预处理、存储、安全分析、呈现等能力，通过从网络侧部署的DPI设备中采集DPI数据等信息，基于Hadoop平台的分布式存储与计算框架，进行建模分析僵尸网络、Web攻击、Url欺诈等安全事件及数据间关联关系，实现对网络安全状况的深度感知，为网络运营管理提供可视化的安全分析工具。平台包括的主要功能概述如下：●僵尸网络检测：基于DPI数据进行特征提取、建模分析，实现CC控制端、恶意URL的检测、统计分析和展示等功能。●Web入侵攻击状态检测：通过对DPI数据等数据的深入挖掘，提供SQL注入攻击、XSS跨站脚本攻击等Web入侵攻击的分析、统计、展示等功能。●Url欺诈检测：略通过对DPI数据等的分析检测、提供对各种Url欺诈（包括钓鱼网站等）的检测、统计、展示等功能。●系统管理：提供用户登录界面，根据用户角色的不同，为用户呈现不同的可视化用户界面。●检测模型管理：导入新的训练数据和测试数据，改变模型的参数后，重新生成新的检测模型。●知识库管理：增/删/查SQL注入攻击样本，手动/自动爬取SQL注入攻击样本。2.3开发环境软件环境：开发平台、语言Eclipse开发平台Python语言操作系统Linux计算平台Hadoop(包含HDFS/MapReduce)深度学习框架TensorFlowWeb服务器Tomcat数据库MySQL浏览器IE/Firefox/Chrome等常见的浏览器运营商大数据驱动的威胁情报技术优化及验证需求说明书62.4一般约束在系统设计时主要应考虑与其它系统在数据上的兼容性、安全性、可靠性等，并需体现某些先进的管理理念。3架构及技术要求3.1平台架构及系统流程技术要求威胁情报技术优化与验证平台采用分层架构，自下而上分为数据采集层、数据存储层、数据计算分析层、数据呈现层，具体架构如下图所示：数据采集对象数据采集层数据存储层数据计算分析层平台逻辑架构数据呈现层数据源DPI（IDC出口）DPI数据数据采集接口FTP数据预处理过滤脱敏标准化采集数据HDFSDPI数据Web安全状态分析用数据分析结果数据MySQLWeb应用层安全数据Web安全状态分析模块SQL注入分析XSS攻击分析Web系统安全态势视图SQL注入XSS攻击僵尸网络分析视图URL欺诈态势视图钓鱼网站十进制IP欺骗僵尸网络分析模块CC控制端分析URL欺诈分析模块钓鱼网站分析特殊标志欺骗分析僵尸网络分析用数据URL欺诈分析用数据CC控制端统计URL欺诈统计十进制IP欺骗分析特殊标志欺骗运营商大数据驱动的威胁情报技术优化及验证需求说明书7图3-1威胁情报技术优化与验证平台系统逻辑架构其中数据采集层通过数据采集接口实现信息采集，并对采集的数据进行过滤、脱敏、标准化等预处理，数据采集来源包括DPI设备，数据采集对象包括DPI数据等信息。数据存储层利用分布式文件系统HDFS，实现对采集到的原始DPI数据等海量安全基础信息的长期存储；同时根据不同检测需要的字段不同，将其分别存储到服务器中；并基于关系型数据库，实现对采集