基于大数据技术的网络攻击监测实践

WEB应用安全和数据库安全的领航者演讲者：刘志乐基于大数据技术的网络攻击监测实践WEB应用安全和数据库安全的领航者OWASP中国区委员OWASP中国杭州分会区域负责人2011年中国计算机网络安全年会演讲嘉宾2011年OWASP亚洲峰会演讲嘉宾2011年ISF上海演讲嘉宾2012年第四届中国云计算大会演讲嘉宾2012年计算机网络安全年会演讲嘉宾2012年OWASPAppSecAsia悉尼峰会演讲嘉宾2013年第二届等级保护技术大会演讲嘉宾2013年中国互联网安全大会演讲嘉宾2014通信行业网络安全年会演讲嘉宾WEB应用安全和数据库安全的领航者某知明网站被植入木马迫于法规和经济利益，网站入侵从篡改转变为植入木马、植入黑链等形式漏洞篡改挂马黑链引发网站域名黑链比率WEB应用安全和数据库安全的领航者人工式网站漏洞扫描？人工式海量数据统计？人工式漫长处理周期？漏洞难检测攻击难预警事件难捕获管理难落地困难！如何跟踪安全状态？如何及时发现安全问题？如何大范围网站安全检查？如何完成区域安全通报？传统安全手段难以满足业务需要WEB应用安全和数据库安全的领航者无有效的安全监管手段如何利用现有资源产生最大价值？突发的入侵事件如何及时发现被入侵的目标，进行补救？内网被APT攻击如何找出攻击来源、被入侵目标？如何消除植入的木马及可疑程序？网站存在安全漏洞如何及早发现网站安全漏洞？e-Question구현단계_FulfillDemandWEB应用安全和数据库安全的领航者分布式扫描引擎•基于Hadoop的分布式扫描引擎•通过Mapreduce分解任务•每天产生超过20G的有效数据HDFSHBASEHiveMapreduce存储分析ScannerScannerScannerMapperMapperMapper数据搜集WEB应用安全和数据库安全的领航者网站安全定级网站安全评分漏洞整改跟踪漏洞分类与统计漏洞隐患点提示漏洞加固建议漏洞验证样本参考网站管理员报告安恒信息技术有限公司网站开发者报告安恒信息技术有限公司WEB应用安全和数据库安全的领航者网站群安全分析报表以部门或单位做为考评依据网站安全问题定责到部门或单位以安全级别度量部门安全水平以安全指数度量部门管理水平以整改效率度量部门管理水平提示高发漏洞促进集中整治提供网站漏洞整改清单提供网站通告素材提供网站安全排名素材整体风险走势分析18综合安全分析报告安恒信息技术有限公司安全整改通告安恒信息技术有限公司WEB应用安全和数据库安全的领航者标准化带宽管理过滤*归并*日志数据*符合NIST800-92日志归并要求SmartSensor集中更新云端集群云端分析WEB应用安全和数据库安全的领航者大数据分析平台•对搜集海量数据进行综合分析–使用Hadoop集群–原始数据MapReduce任务分析–Hbase数据使用hive+Mapreduce进行分析WEB应用安全和数据库安全的领航者大数据分析平台•分析的方式–简单的统计类使用hive进行统计分析–综合关联类Mapreduce任务处理多任务分步处理WEB应用安全和数据库安全的领航者大数据安全分析•分析异构环境风险•多点多源业务安全关联分析•海量历史安全信息数据挖掘WEB应用安全和数据库安全的领航者资产基于风险的排序几十上百个：最高优先级事件数以千万计：原始事件数以百万计：安全相关事件数以千计：关联事件警报:用户BadUser123在尝试对WeakServer的密码进行暴力破解WEB应用安全和数据库安全的领航者安全态势评分大数据时序趋势预测－算法可利用算法WEB应用安全和数据库安全的领航者大数据挖掘－样例1Windows缓冲区溢出Conficker蠕虫攻击SMB协议认证失败WEB应用安全和数据库安全的领航者攻击分析地图展示 WEB应用安全和数据库安全的领航者应用安全和数据库安全的领航者