基于多源异构信息的网络安全智能态势感知系统

基于多源异构信息的网络安全智能态势感知系统中国航天系统工程有限公司2018年11月16日集团公司重大自主创新项目目录CONTENTS1研究的必要性2内容、指标、成果3技术方案及解决途径4拟突破的核心技术5项目创新点6项目经费概算7成果转化应用背景8经济效益、市场分析研究的必要性分析1研究的目的和意义国内外研究现状和技术发展趋势研究的目的和意义“万网融合”的大背景下，未来“智慧产业”平台系统中将存在上千个信息系统及上万种设备类型数据结构及接口标准不一，导致传统数据采集、流转和交换技术已无法满足大数据环境下的生态需求目前通用一般技术大多采用服务器定制数据接口，终端按照接口进行数据结构改造的方式，该方式存在实施成本高、效率低等不足。研究的目的和意义航天一院系统工程公司组织的——多源异构数据融合及安全交换智能服务平台项目从集团公司加快探索研究信息经济时代“人与物实现普遍互联”的网间网技术出发。针对智慧企业数据驱动综合创新产业发展过程中数据“融、联、享、用”上所遇到的问题，研究突破资源接入模型、统一消息空间、安全交换共享等关键技术，研制智能服务平台，开展集团内部智慧企业及外部数据融合的产业化推广工作。19991999年，TimBass和美国空军基地的DaveGruber提出了网络态势感知的概念，把空中交通监管态势感知中已经成熟的理论和技术推广到网络态势感知中2008代表性的研究成果：Ratna和Phillip等人根据系统状态分析，分别实现了系统安全状况的可视化和入侵行为检测2020美国航天司令部草拟了规划未来信息战列文件，2020远景设想强调国防全网基础设施的网络态势感知、对下次攻击的作战评估、灵活的计算机网络攻击效果评价等内容。国内外研究现状和技术发展趋势国外态势感知技术研究现状国内外研究现状和技术发展趋势国内针对态势感知及多源异构数据融合领域技术的研究则起步比较晚上海交大的李建华在现有研究的基础上研发网络安全态势综合处理系统，并提出了一种基于知识基的网络安全态势感知初步分析方法。电子科技大学秦志光教授主持的国家242信息安全计划课题“网络安全态感知系统”西安交通大学的郑庆华针对网络安全态势感知及趋势预测展开研究，并主持国家242信息安全计划课题四川大学的李涛从免疫学角度进行了网络安全态势的定量感知研究国防科技大学的蔡志平在前期网络测量领域研究的基础上，探讨基于网络测量的网络安全态势感知相关技术中国科学技术大学韦勇提出基于信息融合及基于日志审计与性能修正算法的网络安全态势评估模型国内研究现状•从上述文献及研究成果可以看出，经过十年来的发展，在各国研究人员和科研机构的共同努力之下•该领域在态势评估、态势分析、态势预测及态势可视化等方面取得了一定的研究成果，且部分研究内容所具有的深远意义，已经为各国社会经济发展的关键部门所重视•但是研究成果较多停留在模拟和仿真的阶段，特别针对异构数据源的研究，有待进一步的验证和推广应用。国内外研究现状和技术发展趋势集团内技术研究现状航天科工集团在转型升级的过程中，建立了国内首个工业互联网平台，并提出了以万网融合现实增强技术及应用框架框架中重点提出了网间网平台层，核心技术是在确保各自信息安全的前提下，提供各种网络应用平台之间数据的交换共享，形成“信息互通、资源共享、能力协同、开放合作、互利共赢”的技术体系和商业体系。研究内容、技术指标、成果形式2主要研究内容技术指标最终成果形式研究目标为我国重点行业的网络安全威胁感知、预警、应急响应和处置工作提供一套整体性安全解决方案采用知识化数据融合、并行语义推理等作为数据处理、数据分析的基础技术，通过多元异构数据的标准化以及汇聚融合技术进行标准化表达并实时分析、汇聚并存储提出的多种网络安全威胁识别、网络安全态势感知的方法，并使用威胁可视化技术直观的展现将网络安全风险及威胁，通过网络安全预警及通报平台，向相关当事人，帮助管理者高效管理网络安全风险和威胁事前、事中、事后的整个生命周期。主要研究内容多元异构网络安全数据汇聚融合共享技术网络安全威胁识别、网络安全态势感知及可视化技术多元事件关联分析技术和海量语义并行推理技术研究网络安全预警及通报机制和系统以数据为中心异构网络信息交换与管控一体化技术体系：技术指标达到100TB处理能力覆盖100名以上用户10种常见安全威胁情报格式的识别吞吐量100M/s处理能力无故障时间3000小时可预警10余种常见威胁为不同企业用户提供安全风险预警最终成果形式多元异构数据汇聚、融合、存储系统及平台；网络安全威胁态势可视化平台；知识产权：国家软件著作权2个,国家发明专利1项网络安全威胁识别、网络安全态势感知系统；嵌入式威胁感知设备技术方案及解决途径3技术方案技术途径整体技术方案多元异构的网络安全数据汇聚融合多元安全事件关联分析及并行推理技术威胁识别、态势感知及可视化网络安全预警及通报机制整体技术方案•本项目以多元异构网络安全数据汇聚融合共享为基础•以多元事件关联分析、海量语义并行推理、网络安全事件全生命期管理技术为工具•提出网络安全威胁统计分析模型，进行多元异构网络安全数据的汇聚同和与共享技术研究，事件关联性分析和海量语义推理技术的优化与实现•打造网络安全威胁分析和网络安全态势感知可视化平台，建立网络安全风险、威胁预警通报机制与平台化建设，实现相应的端网集合的联合处置方法•拟采用的方法、原理、机理、算法、模型如右图：整体技术方案多元异构的网络安全数据汇聚融合异构网络安全数据融合汇聚、知识化共享技术研究的内容如图所示,包括异构网络安全数据知识化统一技术、自适配异构数据语义采集、和以数据为中心的网络安全态势汇聚共享技术研究。具体技术途径•网络安全感知对象描述建模理论研究与融合工具研制•从网络安全监管对象与网络安全感知动作代理两个角度，建立语义模板和实例化建模工具。•在建模的基础上，网络安全感知数据的接入、适配、解释、语义知识化及汇聚封装如图所示多元异构的网络安全数据汇聚融合具体技术途径煤矿企业监控服务危化企业监控服务非煤矿山......•高并发命名化汇聚层叠网方案研制•每个地区中心的若干事件代理可以形成自己的中心簇，以提供簇级的可扩展性，而成簇的代理再次连接在一起扩展了地域范围，进行广域互联，实现了类似如图所示的一组事件代理形成一个分布式的覆盖网络•采用策略驱动名称聚合的路由算法实现，避免在数据分发时执行策略匹配，极大提高吞吐量、降低时延多元异构的网络安全数据汇聚融合具体技术途径煤矿企业监控服务危化企业监控服务非煤矿山......•大数据汇聚原型的研制•大数据的汇聚必须解决传输过程中的负载均衡、多链路聚合、跨介质传输、跨协议传输、存储冗余等问题•在本项目中需要使用排重技术处理好数据采样重复问题，对于不能实时处理的数据，采用非结构化存储方式，由大数据汇聚系统为原始数据添加“Tag”，用于非结构化数据库建立索引多元异构的网络安全数据汇聚融合具体技术途径•由于网络安全威胁的复杂性、不确定性、潜伏性，通常难以在产生破坏之前识别到它。•但是从多元事件的角度去看，一起网络安全威胁发生之前，往往与同一时间、同一地点，甚至不同时间、不同地点、不同类型的网络活动、网络安全事件息息相关，它们之间存在着一种潜在的因果关系，通过发现这种潜在的因果关系，可以发现及预测网络安全威胁、量化网络安全态势。多元安全事件关联分析及并行推理技术具体技术途径•多元安全事件关联分析•针对不同层次、不同种类的网络活动与不同网络安全威胁之间的关系模型以及事件关联发现技术•通过统计概率图模型在不同类型的网络安全威胁、网络活动间找到潜在关系•同时利用知识库中现有的知识推断未知的知识，完成多种事件之间的链接预测多元安全事件关联分析及并行推理技术具体技术途径•基于海量语义信息的并行推理技术•由于引入了大量的威胁情报以及采集网络的海量网络活动、网络报警信息，传统的语义推理根本无法满足时间和空间上的要求。•基于海量语义的并行推理技术成为必须解决的科学难题。•本项目拟从两方面来解决，即语义信息存储与检索方法的设计，以及推理算法的优化。多元安全事件关联分析及并行推理技术具体技术途径•基于海量语义信息的并行推理技术•研究在HBase上存储RDF和OWL数据，优化现有的SPARQL检索算法，从而为推理算法的设计与实现提供帮助•研究基于RDFS和OWL的推理算法•研发一个基于BigTable的海量语义信息并行推理引擎，并在海量语义信息处理平台中成功应用。多元安全事件关联分析及并行推理技术具体技术途径•基于海量语义信息的并行推理技术•研究在HBase上存储RDF和OWL数据，优化现有的SPARQL检索算法，从而为推理算法的设计与实现提供帮助•研究基于RDFS和OWL的推理算法•研发一个基于BigTable的海量语义信息并行推理引擎，并在海量语义信息处理平台中成功应用。多元安全事件关联分析及并行推理技术具体技术途径•基于海量语义信息的并行推理技术，对现有的海量语义信息推理算法进行优化。而这种优化主要集中在以下两个方面：•通过对RDFS和OWLHorst两组规则集的进一步分析，实现推理规则在应用顺序方面的优化•通过减少推理步骤、减少在任务创建方面开销，可以减少对BigTable的访问次数，减少中间结果的产生，缩短算法的运行时间多元安全事件关联分析及并行推理技术具体技术途径•针对现有网络安全设施，提出数据采集方面的改进和补足的方法。•研究“多元安全事件关联分析及并行推理技术”在多种网络安全威胁识别，网络安全态势感知方面的应用。•研究网络安全威胁识别、网络安全态势量化和可视化技术威胁识别、态势感知及可视化具体技术途径•研制网络安全数据标准化转换组件•为现有的各类网络安全报警日志、各类操作系统和应用日志提供一个统一个接收界面以及标准化过程。做到现有计算机网络环境无需升级便可纳入整个项目，作为本项目的计算机、网络安全报警及活动数据源威胁识别、态势感知及可视化具体技术途径•扩展现有威胁情报数据针对一个现存的或新兴的威胁•一是引入更多的本体、赋予本体更多的属性•二是为行业用户提供基于该行业的个性化威胁情报威胁识别、态势感知及可视化具体技术途径•更多网络类型、更具针对性的网络活动采集技术•异常数据外流感知技术及原•网络探测感知技术及原型•终端/主机异动感知与威胁处置子项目•嵌入式威胁感知设备高级计算机恶意软件识别装置•提供不少于1000点部署能力的嵌入式威胁感知设备威胁识别、态势感知及可视化具体技术途径•多维度的网络威胁识别和分析技术•基于多元事件，采用多维度的网络安全威胁识别和分析方法，研究多元安全事件关联分析及并行推理技术在网络安全威胁识别、分析中的具体应用•在推理过程中，通过加入自定义的知识（一阶逻辑），引入新的本体描述、活动与推理关系，促成网络安全威胁的交互式推理威胁识别、态势感知及可视化具体技术途径•网络安全态势量化感知及可视化•基于已经经过标准化并融合后的基础网络安全数据和威胁情报，使用“多元安全事件关联性分析”技术，结合日常网络活动，对网络安全威胁活动进行量化，完成网络安全威胁态势感知及态势量化•安全态势量化数据，通过大数据可视化平台进行展示，将全球、全国及行业网络下多中不同网络安全威胁的多场景展示威胁识别、态势感知及可视化具体技术途径•网络安全预警通报系统•网络安全事件处置系统•网络安全事件生命周期管理•网络安全状况数据报表网络安全预警及通报机制具体技术途径•制订安全风险模型与安全事件通报模板•重点行业示范应用•重点行业应用示范（基础运营商）重点行业应用及标准化研究具体技术途径•制订安全风险模型与安全事件通报模板•重点行业示范应用•重点行业应用示范（基础运营商）重点行业应用及标准化研究•态势感知与决策支撑原型系统试点•网络安全预警及持续诊断原型系统试点•网络安全风险模型与安全事件通报系统试点具体技术途径•制订安全风险模型与安全事件通报模板•重点行业示范应用•重点行业应用示范（基础运营商）重点行业应用及标准化研究用户维度个人用户金融用户IDC用户基于蜂窝网的移动用户专