第10章-大数据技术基础---大数据基础

第10章大数据安全解决方案目录2大数据安全的挑战与对策基础设施安全数据管理安全安全分析隐私保护10.1.1数据加密技术31.对称密码对称密码的特征是加密密钥和解密密钥相同。对称密码不仅可用于数据加密，也可用于消息的认证美国国家标局颁布的DES/AES算法。2密钥管理如何将密钥安全、可靠地分配给通信对方，包括密钥产生、分配、存储和销毁等多方面的问题统称为密钥管理。10.1.1数据加密技术43.非对称密码非对称密码（公钥密码体制）的特征是加密密钥与解密密钥不同，而且很难从一个推出另一个。非对称密码使用两个独立的密钥，一个可以公开，称为公钥，另一个不能公开，称为私钥。两个密钥形成一个密钥对，一个密钥用于加密，另一个密钥用于解密。非对称密码算法基于数学问题求解的困难性，而不再是基于代替和换位方法；在非对称密码体制中，公钥是可以公开的，私钥是需要保密的。加解密算法都是公开的。用公钥加密后，只能用与之对应的私钥才能解密。传统的密码技术在大数据领域有一定的局限性，在本书的10.5.2中会介绍一种新的加密技术：内容关联密钥技术，它在大数据的隐私保护方面有独特的优势。10.1.2大数据安全与隐私5大数据安全与隐私涉及众多领域，包括数据安全，系统安全和网络安全，数据安全涉及数据加密和隐私保护，系统安全涉及操作系统安全和数据库安全，网络安全涉及身份认证、访问控制和审计技术。大数据安全的核心技术主要包括加密技术，访问控制和认证机制。1.基础设施安全2.数据管理安全3.数据隐私4.安全验证和监控安全验证和监控10.1.3大数据安全保障体系10.1.4华为大数据安全解决方案7目录8大数据安全的挑战与对策基础设施安全数据管理安全安全分析隐私保护10.2.1认证技术认证是阻止非法实施信息攻击的一种技术，其作用为：（1）消息完整性认证，验证信息在传输或存储过程中是否被篡改；（2）身份认证，验证消息的收发者是否持有正确的身份认证符，如口令、密钥；（3）消息序号和操作时间（时间性）等认证，防止消息重放或会话劫持等攻击。认证体制分为三个层次:安全管理协议、认证体制和密码体制。认证体制必须考虑下列因素：（1）接收者能够验证消息的真实性、完整性以及合法性。（2）消息的发送者不能抵赖发出的消息，消息的接收者不能否认接收的消息。（3）只有合法的发送者可以发送消息，其他人不能伪造消息发送。10.2.1认证技术认证系统模型认证体制相关技术包括数字签名，消息认证和身份认证10.2.2访问控制认证、访间控制和审计共同保障计算机系统的安全。认证是用户进入系统的第一关，访问控制是在用户以合法合法身份进入系统后，通过监控器控制用户对数据信息的访问动作。安全管理模型10.2.2访问控制访问控制原理10.2.2访问控制访问控制技术访问控制技术是指为了实现访问控制所采取的管理措施。访问控制受操作系统指挥，按照访问控制规则决定主体是否可以访问客体，在系统工作的所有过程都有体现。访问访问控制模型：•基于访问控制表的访问控制。•基于能力关系表的访问控制。•基于权限关系表的访问控制。10.2.3公钥基础设施（PKI）PKI是一个依据公钥密码原理来提供公共安全服务支持的基础平台，用户可利用PKI平台提供的安全服务进行安全通信认证。PKI按照密钥管理规则，为所有交互应用提供加密和数字签名等服务所需的密钥和证书管理。公钥基础设施主要包括认证机构、证书库、密钥备份和PKI应用接口系统等，下面是PKI的几个特色。1．认证机构2．身份强识别3．透明性和一致性10.2.4华为大数据平台华为大数据平台FusionInsight包括FusionInsightHD和FusionInsightStream两个组件：FusionInsightHD包含了开源社区的主要软件及其生态圈中的主流组件，并进行了优化；FusionInsightStream是FusionInsight大数据分析平台中的实时数据处理引擎，是以事件驱动模式处理实时数据的大数据技术，解决高速事件流的实时计算问题，提供实时分析、实时决策能力。FusionInsight增强了网络隔离，数据保密性等功能，进一步提高安全性10.2.4华为大数据平台1.身份鉴别和认证FusionInsight支持用户使用浏览器、组件客户端的方式登录集群。浏览器登录方式，FusionInsight提供了基于CAS的单点登录，用户在任意Web界页面登录后，访问其他各组件Web页面，无需再次输入用户口令进行认证10.2.4华为大数据平台2.用户和权限管理FusionInsight提供基于角色的权限控制，用户的角色决定了用户的权限。通过指定用户特定的角色给他赋予相应的权限。每种角色具有的权限，根据需要访问的组件资源进行配置。10.2.4华为大数据平台3.审计安全FusionInsight支持记录审计日志，审计日志可用于安全事件中定位问题原因及划分事故责任，FusionInsight审计日志中记录了用户操作信息，可以快速定位系统是否遭受恶意的操作和攻击。审计日志类别审计日志内容审计日志内容1.事件类型；2.事件的风险级别；3.事件发生的时间；4.用户；5.被操作的主机、服务或实例；6.事件的结果。审计日志范围（用户活动）1、登录和注销；2、增加、删除用户和用户属性（帐号、口令等）的变更；3、用户的锁定和解锁；4、角色权限变更；审计日志范围（操作指令）1、对系统配置参数的修改；2、对系统进行启动、关闭、重启、暂停、恢复、倒换；3、对服务的加载、卸载；4、软件的升级操作，包括远程升级和本地升级；5、对重要业务数据的创建、删除、修改；6、所有帐户的命令行操作命令。表10.1审计日志内容和范围10.2.4华为大数据平台4．多租户安全FusionInsight提供企业级的安全平台，提供系统的安全解决方案：认证（Authentication）：FusionInsight平台集成Kerberos+Ldap的认证方式，保证企业级的帐户安全。授权（Authorization）：基于用户和角色的认证统一体系，遵从帐户/角色RBAC（Role-BasedAccessControl）模型，实现通过租户角色进行权限管理，对用户进行批量授权管理。审计（Auditing）：对登录FusionInsightManager的用户的所有操作进行审计，及时发现违规操作和安全风险。表10.1审计日志内容和范围目录20大数据安全的挑战与对策基础设施安全数据管理安全安全分析隐私保护10.3.1数据溯源数据溯源技术对大数据平台中的明细数据、汇总数据使用后中各项数据的产生来源、处理、传播和消亡进行历史追踪。大数据平台数据溯源的原则：1.大数据平台须确保对个人数据操作的可追溯。2.要求跟踪并监控对大数据平台资源和持权限人数据的所有访问，记录机制和用户活动跟踪功能对防止、检测和最大程度降低数据威胁很重要。10.3.1数据溯源数据超过存留期时要及时销毁数据，超过存留期个人数据的处理方法：1.必须提供删除/匿名化机制或指导来处理超过存留期的用户数据。2.提供程序机制，根据个人数据存留期设置删除周期，存留期一到便由程序自动删除。3.在产品客户资料中描述删除或是匿名个人数据的方法，指导客户使用。4.对于备份系统中超过存留期的个人数据，应在客户资料中告知客户进行定期删除。5.对于设备供应者，应根据客户需求，或按照业界惯例，提供机制或指导来删除或匿名超过存留期的用户数据。6.对于法律有特殊要求的用户隐私数据可遵照当地法律所要求的规范进行保存和处理。10.3.2数字水印数字水印技术指将特定的标识信息嵌入到宿主数据中（文本文件、图片、视频等），而且不影响宿主数据的可用性。数字水印分为可见水印和不可见水印两种数字水印的设计原则：1.嵌入的水印信息应当难以篡改，难以伪造。2.嵌入的水印信息不能影响宿主数据(保护对象)的可用性，或者导致可用性大大降低。3.数字水印要求具有不可移除性，即被嵌入的水印信息不容易甚至不可能被黑客移除。4.数字水印要求具有一定的鲁棒性，当对嵌入后的数据进行特定操作后，所嵌入的水印信息不能因为特定操作而磨灭。10.3.3策略管理策略管理为隐私处理模块和隐私还原管理模块提供处理策略配置和版本管理，处理过程中所用到密钥的版本管理和存储管理都由其统一管理，保存到特定的安全位置，一般只由去隐私处理模块和还原处理模块调用。大数据平台中的安全策略管理主要涵盖三个部分，(1)对安全密钥、口令保护进行统一定义与设置；(2)对安全规则进行集中管理、集中修订和集中更新，从而实现统一的安全策略实施；(3)安全管理员可以在中央控制端进行全系统的监控。10.3.3策略管理大数据平台中安全策略管理的特性具体要求如下：1.大数据平台应具备对安全规则进行集中管理的功能，并且支持对安全规则的远程配置和修订；2.对密钥和口令相关的帐户支持集中化管理，包括帐户的创建、删除、修改、角色划分、权限授予等工作；3.对违反安全规则的行为提供告警消息，能够对整个大数据平台中出现的任何涉及安全的事件信息及时通报给指定管理员，并保存相关记录，供日后查询；4.提供单次登录服务，允许用户只需要一个用户名和口令就可以访问系统中所有被许可的访问资源；5.提供必要的手段能够对外网访问策略进行管理，加强外网接口服务器的访问策略管理工作。10.3.4完整性保护大数据平台的数据完整性要求在数据传输和存储过程中，确保数据不被未授权的用户篡改或在篡改后能够被迅速发现。大数据平台的完整性保护，主要包含数据库关系完整性保护和数据完整性保护。数据库关系完整性是为保证数据库中数据的正确性和相容性，对关系模型提出的某种约束条件或规则，以期达到防止数据库中存在不符合语义规定的数据和防止因错误信息的输入输出造成无效操作或错误信息。关系完整性通常包括域完整性，实体完整性、引用完整性和用户定义完整性，其中域完整性、实体完整性和引用完整性，是关系模型必须满足的完整性约束条件。10.3.4完整性保护大数据平台要尽可能的利用数据库系统所提供的完整性保护机制来保护数据库中数据的完整性。然而，数据库完整性保护只能防止不满足规则约束的数据篡改，无法防范在满足规则约束以内的数据篡改。针对数据库字段中满足规则约束内的数据完整性保护，大数据平台需要满足如下安全特性：（1）要求采用业界标准的哈希认证码算法MAC计算保护对象的哈希认证码。例如HMAC-SHA256标准算法。（2）相同的字段值每次生成的认证码应该不尽相同。（3）攻击者不能通过采用表中的一条记录覆盖另一条记录的方式来实施数据篡改。10.3.5数据脱敏数据脱敏用于保护大数据平台中的敏感数据，主要涉及加解密算法的安全、加密密钥的安全、存储安全、传输安全以及数据脱敏后密文数据的搜索安全等。目录29大数据安全的挑战与对策基础设施安全数据管理安全安全分析隐私保护10.4.1大数据安全分析架构10.4.1大数据安全分析架构1.数据采集2.数据预处理3.分布式存储4.分布式索引5.事件关联分析6.流量基线异常检测7.WEB异常检测8.邮件异常检测9.C&C异常检测10.隐蔽通道异常检测11.威胁判定10.4.2大数据防DDoS攻击DDoS攻击DDoS全称分布式拒绝服务。攻击者以瘫痪网络服务为直接目的，以耗尽网络设施（服务器，防火墙，IPS，路由器接口）性能为手段，利用网络中分布的傀儡主机向目标设施发送恶意攻击流量。（1）攻击目的从直接动机上来看，攻击者使用DDoS攻击的主要目标有三种：a.耗尽服务器性能（包括内存，CPU，缓存等资源），导致服务中断b.阻塞网络带宽，导致大量丢包，影响正常业务c.攻击防火墙，IPS设备等网络设施，占用其会话和处理性能，使正常转发受阻2）攻击手段传输层攻击；应用层攻击；攻击辅助行为10.4.2大数据防DDoS攻击利用视频XSS漏洞发动大规模DDoS攻击10.4.2大数据防DDoS攻击利用大数据平台实现DDoS攻击检测10.4.2大数据防DDoS攻击智能的DDoS攻击检测系统10.4.2大数据防DDoS攻击机器学