大数据在信息安全领域的价值

大数据在信息安全领域的价值华南理工大学电子与信息学院覃健诚博士自我介绍覃健诚北京邮电大学信息安全中心博士毕业目前在：华南理工大学电子与信息学院研究方向：网络安全，云计算著作《网络安全基础》，科学出版社，2011内容列表大数据的现实意义攻：利用大数据为信息安全服务防：对大数据的信息安全保护华南理工大学的相关研究工作大数据时代来临抽象：大数据是什么云计算、物联网等新技术催生大数据涉及数据仓库、数据分析、数据挖掘等技术大数据的特点数据量大：TB级以上种类多：文本、多媒体、数据库等价值密度低：有效信息分散在海量数据中处理速度快：要求实时、准实时获得结果具体：大数据价值的实例从美钞轨迹到流感预测趣味网站：让大家输入手上美钞的序列号积累了十年数据，能跟踪美钞流通轨迹大量数据积累的意义形成美钞在世界各地流动的规律也就是世界上人群、病毒流动的规律2009年利用数据来预测H1N1流感传播趋势成功预测首要爆发热点在纽约、加州、德州虚拟案例：利用大数据跟踪现金钞票流动情况：记录钞票序号利用大量收银台验钞机、ATM机发现现金异常流动情况追查洗钱源头银行劫案与恐怖袭击的相关性分析某地数据：银行抢劫与恐怖袭击高度相关业务分析：暴力手段获得恐怖活动财源破案兼预防：发生抢劫案之后提高警惕对大数据的理解象提炼稀土矿一样提取大数据中的价值有价值的信息量密度很低，蕴藏总量很大要有足够的技术条件才能提取出来硬件条件：足够的存储容量、并行运算性能要求能够快速获得计算结果时间：流感爆发之后才算出结果就晚了软件条件：算法技术水平、具体业务水平大数据分析必须技术与业务结合在一起大数据体现的价值高低与数据源有关，也和信息提炼水平有关要把有价值的信息从大量数据中分离出来信息提炼水平不够，大数据只是无用的垃圾提炼水平越高，能够提取出的价值越高类比：铀矿浓缩技术天然铀矿：约0.7%核电站用低浓缩铀：3%核武器用高浓缩铀：90%内容列表大数据的现实意义攻：利用大数据为信息安全服务防：对大数据的信息安全保护华南理工大学的相关研究工作有效利用大数据中的价值棱镜门：监听有价值的信息数据来源：电信部门、网络设备关键问题：如何筛选出有价值的信息背景噪音：大量无关的数据相关技术举例：要求速度快模式匹配算法：找出敏感词、句之类概率分析算法：发现异常（小概率事件）相关性分析算法：找到高度相关情况棱镜门的延伸：网络信息监控寻找特定领域的网络信息查案：筛选特定目标人物的相关信息整理线索：收集与线索相关的网上信息为特定目的监测网络信息反恐、防侵略：监控异常动向防腐败、反洗钱：监控账务信息防欺诈、防盗刷：监控交易信息虚拟案例：利用大数据的网络诈骗股票走势预测：发送大量垃圾邮件、短信8万邮件，4万说升，4万说跌，总有一半对说对的继续下一轮：2万说升，2万说跌有1250人连续收到6次邮件，次次猜中收网：针对剩下的1250人声称有内幕消息，要求付费购买部分人信以为真，付款类似手法可用在球赛结果预测等其他方面内容列表大数据的现实意义攻：利用大数据为信息安全服务防：对大数据的信息安全保护华南理工大学的相关研究工作大数据的信息安全大数据本身的安全大数据存储、计算、传输过程中的安全防止故障，防止数据差错设备可靠性：技术保障信息内容的安全防范大数据中可能蕴含的敏感信息泄露利用大数据来隐藏秘密信息高性能计算的技术要求：又快又好超级计算机并不是简单的硬件堆积数据带宽要求随着节点数增长，带宽以平方级增长要求有先进的高速传输技术系统可靠性要求随着节点数增长，故障率以指数级增长要求有高超的系统可靠性控制技术可靠性保障技术基本原理冗余、备份、恢复衍生出编码技术、存储技术、架构设计等典型技术存储：磁盘阵列、ECC内存、数据备份架构：集群编码：纠错码、校验码协议：差错重传信息内容的安全防范大数据中泄露敏感信息看似无用的数据，可能蕴藏着重要信息貌似严密的信息防护，可能用统计手段绕过典型技术：对水平要求比较高访问限制：不容易应用到大数据范围内查询限制：容易出现组合查询漏洞数据掺假、揉合：故意加入噪声虚拟案例：组合查询获取隐私查询限制：不允许统计某个年龄的财富数量例如：不能单独统计30岁人群的财富总数这个限制有漏洞破解：统计出30岁人群的财富总数先统计所有人群的财富总数再统计29岁以下财富总数、31岁以上财富总数第一个数减去后面两个数，得到结果信息内容的安全利用大数据来隐藏秘密信息把秘密信息埋藏在大数据中解密：通过一定的提取手段分离出来典型事例数字水印：版权信息藏在视频数据中秘密通信：网上视频短片传递保密资料内容列表大数据的现实意义攻：利用大数据为信息安全服务防：对大数据的信息安全保护华南理工大学的相关研究工作大数据处理的前提：高性能平台需要在短时间内处理大量数据，并得到结果容量、速度、带宽，一个都不能少强调并行计算能力：硬件设备、软件算法保障信息安全云计算平台对大数据的作用产生、采集大数据：一个源头存储、统计分析大数据：大量云资源节省大数据传输带宽：云端计算、数据压缩华南理工大学的基础平台建设中国教育科研网CERNET/CERNET2华南地区中心教育部互联网应用创新开放平台示范基地华南理工大学的基础平台建设广东省教育科研网GDERNET运行中心华南理工大学的高性能计算建设中国科研网格ChinaGrid五个发起学校之一ChinaGrid主节点建设华南理工ChinaGrid主节点计算能力（CPU+MIC+GPU）CPU：7.3TFLOPS（万亿次/秒）MIC：2.0TFLOPS（万亿次/秒）GPU：1.4TFLOPS（万亿次/秒）CPU计算能力存储能力每核心CPU内存通讯网络带宽存储系统并发带宽考核指标≥7TF≥50TB≥2GB≥40Gbps≥2GB/秒实际指标7.3TF57.6TB4GB40Gbps3GB/秒华南理工大学的高性能计算建设广东省教育与科研高性能与网格计算平台主要研究项目国家科技支撑项目基于超级计算和同步区域云的教育资源中心技术研发与应用示范广东省科技计划项目面向云架构的资源跨网调度平台研发与应用广东省高新区发展引导专项计划项目韶关高新区基于云架构的服务与创新平台建设关键技术研究：与大数据相关的分布式云计算节点机的研制IPv4/IPv6网络数据包情报分析技术的研发教育资源个性化推送技术的研发大数据压缩与混沌加密核心引擎的研制分布式云计算节点机的研制形成兼容开源和商业软件的云计算平台提供分布式存储、并行计算等资源双层虚拟网络架构：支撑层、业务层IPv4/IPv6网络数据包情报分析从大量数据流中快速筛选出指定特征数据包算法：PPM概率预测、模式匹配利用GPU硬件对数据处理作并行加速掌握相关核心技术，就可以防范“棱镜门”窥探教育资源个性化推送技术利用GPU进行大数据并行计算和匹配引入“有效信息量”的概念同一资源对于不同的人，有效信息量不同“因材施教”：资源与大量学生之间的匹配大数据压缩与混沌加密核心引擎核心压缩算法自主研发，支持GB级数据字典实测性能指标达到先进水平压缩率、压缩速度全面超越WinRAR压缩速度超过7-zip，压缩率各有千秋能够进行“蝴蝶效应”加密谢谢！大数据的现实意义攻：利用大数据为信息安全服务防：对大数据的信息安全保护华南理工大学的相关研究工作