51CTO 《linux运维趋势》 18期 大数据存储系统初探

002《Linux运维趋势》投稿信箱:[e-mail]杂志订阅:系统频道：目录人物·People003115网盘赖霖枫：从分享大文件的需求开始交流·Interact005SSL正在保护我的网站……等等，你真的确定吗？八卦·News008Apache2.4发布淘宝Metamorphosis开源专题·Special010HAProxy+Hive构建高可用数据挖掘集群012HDFS小文件问题及解决方案016淘宝Fourinone介绍及与Hadoop的性能PK018淘宝海量数据库之十四：故障恢复技巧·工具·脚本·DBA020在CentOS6.2上安装Puppet配置管理工具023浅谈Squid在图片存储架构中的应用026轻量级HTTP服务器Nginx(Nginx性能优化技巧)030使用LVM技术提升Xen虚拟机性能的实现033通过分布式及文件级数据缓存打造千万级别WEB应用003《Linux运维趋势》投稿信箱:[e-mail]杂志订阅:系统频道：网盘赖霖枫：从分享大文件的需求开始（采访全文也涉及到产品方面，本期《趋势》仅截取赖霖枫在技术方面的说明，完整内容可参考原文。）51CTO：霖枫你好，能否大致介绍一下115网盘在服务器端和客户端都采用了哪些技术？赖霖枫：115整体架构非常简单，主要是由访问终端层、后台服务器端和底层存储端三部分组成。终端访问层提供了各类接入方式的应用访问，如更多跨平台PC客户端应用如WIN/MAC平台，移动端支撑iOS/Android等主流移动OS，实现了iPhone/iPAD/Android主流机型的应用支撑。WEB应用采用主流分布式技术框架，表现层以CSS、JS为主，HTML5的研发团队会随着更多浏览器的支撑提供给终端用户更佳丰富的体验。WEB服务端则采用主流PHP相关开源技术：缓存、搜索以及尽可能的异步设计和数据库分区分表、读写分离充分实现独立应用组件的横向扩展来支撑海量数据，而组件间由于松散耦合架构又不会彼此干扰，尽可能提高缓存命中以增强用户体验，部署Nginx/Varnish采用了诸如Redis、MongoDB等更多分布式技术。PC客户端应用的开发采用UI和组件分离的策略，更多COM组采访、整理／杨赛雨林木风的名字，在中国网民当中有很多人听到过；也有很多人知道，它的创始人赖霖枫是一个思维活泛的创业者，操作系统、论坛、网址导航，什么都感兴趣，还特别喜欢购买域名。即使做了这么多年，互联网业界发生了翻天覆地的变化，他的身上仍然保留很多上个世纪末互联网刚刚兴起之时的那股子江湖气息：因为喜欢而做，从而聚集了同样一批因为喜欢而加入的网友们，成为其忠实的用户群体。115网盘就是诞生在这样一个野战军的环境下，并在2011年发展成为赖霖枫的第二个创业公司。说来网络硬盘也是一个从上世纪末就开始存在的服务，只是近年来由于云计算等概念的风靡、Web应用与移动互联网的成熟，让网盘的意义也产生了极大的变化。为什么会有115网盘这个项目？赖霖枫对网盘服务是如何理解的？51CTO有幸邀请到赖霖枫本人来为大家答疑。004《Linux运维趋势》投稿信箱:[e-mail]杂志订阅:系统频道：件实现了跨平台客户端内核功能的提供，极大降低了各类端应用的开发成本。后台服务端由各类API、服务端应用组件构成以及统一消息处理平台构成。WEBAPI构筑了PAAS平台，为更多个人爱好者和站长提供应用插件的开发与部署。服务端应用组件有业务类的诸如图片、文本处理相关组件，也包含底层技术支撑类的如P2SP应用组件、分布式日志组件、数据挖掘组件等。而统一消息处理平台日以继夜的处理着各类后台消息队列，为支撑海量数据的用户体验默默无闻的工作着。这些接口以SOAP或RESTful的形式对内外提供服务。更多服务端应用组件采取与客户端通讯的方式处理，客户端以COM形态出现。服务端应用大多采用LinuxC/C++开发。为此，115打造了一个封装好更多底层通讯机制的优化的服务器端应用开发框架，即Framework，实现快速服务器端应用组件的开发，大大缩短了应用组件的上线周期，实现了传统软件公司开发1/5的开发成本快速构筑服务端应用。115形成了若干领域的技术攻坚和持续优化队伍，如P2SP应用组件组，有专业团队和天才级的优秀工程师持续聚焦于P4P技术研究、BT、电驴的协议支持与优化，以及非完整资源支持等技术点，以为用户提供最佳体验为核心。此外，同步组件优化组以及分布式存储组结关注各自场景的优化提升。存储层设计以分布式对象存储为核心，支撑各类场景的冷热数据需求，在数据压缩、内容分发与路由，重复数据删除等方面具有一定的技术积累，对PB级海量数据存储与高吞吐、高容错的同时，实现了多数据中心云容灾架构。51CTO：安全性方面有哪些措施？我们如何保护用户的隐私？赖霖枫：安全不仅仅是技术范畴，更是管理体系的实践。（我们的）安全管理体系更多参考了ISO27001以及ITILV2/V3等对于基础设施运维层面的管理，实现了严谨内控管理的同时，强调SLA体系的规范与达成……另一方面，115运营团队在实施安全管理体系中，全天候为客户（提供）安全隐患服务，后台的日志系统提供跟踪、记录、监控管理机制，全程记录后台管理帐户的所有操作，保障用户的数据不被盗用；115近期还将会推出手机绑定115帐号功能，支持通过手机找回密码，手机验证码登录等更高级别的账户安全保护机制。在安全技术方面，我们做到每一份数据都在多个数据中心、多个机柜拥有多重备份。在隐私保护方面，用户上传的数据都是经过多重加密，特别是考虑到业界关于MD5加密破解问题，115采用高强度加密算法进行数据传输加密和数据库存储数据加密。而115安全体系的快速反馈流程则在业界第一时间内发送安全友情提示邮件，全力保障用户隐私。115采取分布式存储，即采用数据分块的方式，即使是115内部网络管理人员也无法查看用户存储的数据，而通用非对称机密机制，数据的完整呈现只有在用户端才可以完整展现。51CTO：能否大致透露一下现在你们的用户数量到达什么级别了？赖霖枫：115网盘从成立至今一直没有做太多商业推广，仅凭用户口碑宣传和分享邀请等方式，到今年2月份已经积累了3000万注册用户。原文：《Linux运维趋势》投稿信箱:[e-mail]杂志订阅:系统频道：正在保护我的网站……等等，你真的确定吗？SSL与TLS，通常被统称为SSL，广泛分布在网络世界的各个角落，用以验证某个站点的实际内容到底是与其表述一致、抑或是由钓鱼者及其它攻击者为了窃取机密数据而打造的一个虚假外壳。SSL还同时还为我们提供了一套加密基础设施，这样共享数据的安全才有保证。“即使我们现在认定SSL自身存在严重缺陷并且已经濒临崩溃，但不可否认它可能仍然是未来10年内我们所能依赖的最佳防御机制；如果大家从今天开始努力，也许10年之后会有理想的替代品诞生，”Trustwave公司身份及验证管理业务副总裁BrianTrzupek表示。当下以SSL为基础的最新技术TLS1.2已经解决了已知的所有问题。至于其它漏洞，Trzupek认为“完全是由SSL的不当部署及使用所引发。”诚然，SSL的信任生态系统并不完美，但网站经营者们完全可以采取一些步骤对其部署进行优化，以尽量避免可能危及公司数据及令客户承担风险的失误。以下是四项步骤的具体内容：使用最新版本的协议及密码套件要得到充分的保护，网站必须采用最新版本的SSL协议及密码套件，而且其服务器也需要得到正确配置。“尽量选择规模最大、结构最复杂的加密密钥，它们能够有效地保护我们身边需要保护的设备。”在理想状况下，企业应该使用256位甚至强度更大的加密机制。经过调查，Qualys公司发现在使用SSL的网站中，SSL普遍没有被正确部署在应用层中。即使是那些对SSL进行了良好配置的网站，也仅仅将着眼点放在协议层上。而对于Web应用程序与网站，则往往“随意部署SSL了事。举例来说，许多Web应用程序会在加密身份验证尚不完善的情况下将产品交付用户使用。“人们常常以纯文本这种极不科学的形式输入用户名与密码，而这对攻击者们而言无疑是绝好的机会。”另一种常见的配置错误是未对所部署的会话cookie做出充分保护，最终使攻击者很容易访问到这些敏感内容。Cookie内部必须具备“安全的”编码构造，以确保其免受恶意人士的窥探。妥善管理加密密钥加密机制总会给企业带来行政层面上的负担，其中最大的麻烦就是管理用于信息在网站及用户之间流通时加密及解密所必需的公共及私有密钥。终端用户利用公共密钥对传输至网站服务器的数据流进行加密，而网站则采用一套私有密钥对信息解密，并在用户的浏览器文/MattPrigge编译/核子可乐006《Linux运维趋势》投稿信箱:[e-mail]杂志订阅:系统频道：端显示出他们希望看到的内容。值得一提的是，私有密钥必须远离攻击者及机构内部的恶意人士。任何打算访问私有密钥的人必须首先获得与之相匹配的授权认证；而该认证则由第三方认证授权机构（简称CA）进行核对，以了解来访网站是否合法。因此，攻击者往往以盗窃手段获取私有密钥以及与之对应的授权认证，这样他们就能将自己的假冒网站以合法的面貌摆上台面，进而令访问者将其误认作真正的站点并最终导致个人信息泄露。但是对私有密钥的保护往往令网站管理更加困难。SSLWeb服务器需要能够在IT管理员完全不介入的情况下直接访问私有密钥，而站点运营方则更希望走捷径，即尽量削弱密钥的安全保护机制，这样终端用户才能更加顺畅地调用网络内容。在大多数企业中，私有密钥都以未加密的形式保存在Web服务器中，也就是说攻击者完全可以在不具备密码、智能卡或者其它需要以密码登录的设备时轻松获取这些关键信息。保护公共及私有密钥最显而易见、同时也是最有效的方法之一，就是永远不要将它们保存在Web服务器中。作为安保机制的核心，私有密钥更是应该加以妥善保管。同样，也不能将私有密钥保存在FTP服务器上，或是出于任何理由将其通过邮件方式发送给他人。解决方案其实并不复杂，只要使用一款密钥管理工具，将公共及私有密钥实施隔离，再确保SSL系统管理员无法接触到私有密钥即可。网站管理员不应该同时扮演密钥管理员的角色。保管好授权证书除了不尽人意的加密密钥管理工作，SSL网站运营者们往往对授权证书本身的保护也很不到位。在拥有企业内部网络、大型电子商务网站或者其它包含敏感数据站点的机构中，授权证书的数量可能多达成千上万。在处理如此海量的授权证书时，企业往往会将其分散至各服务器及网站管理者处，让他们各自负责。这种做法无疑会迅速导致混乱及安全威胁，大型零售商及其它企业甚至常常不清楚自己手头到底在使用多少套授权证书。分布式证书管理领域的一大关键性问题在于，没有某个人或团队专职跟踪审查证书的有效日期。也就是说，证书往往在到期之后企业中仍然无人留意，如此一来客户或其它用户在访问时就会收到提示信息，宣称证书可能存在问题。更严重的情况下，我们甚至可能因此而无法访问需要