明略数据MDP2.0-白皮书

北京明略软件系统有限公司MiningLampSoftwareSystemCo.,Ltd.A.北京市昌平区中东路398号中煤建设大厦1号楼4层邮政编码：102218F4,1#,ZhongmeiConstructionGroupPlaza,ZhongdongRoad,ChangpingDistrict,BeijingT.010-8423389F.010-56842040H.：MininglampDataPlatform产品白皮书基于ApacheHadoop的大数据平台，专注于安全、可靠、易用、开放的企业级需求明略数据2015/10/1北京明略软件系统有限公司MiningLampSoftwareSystemCo.,Ltd.A.北京市昌平区中东路398号中煤建设大厦1号楼4层邮政编码：102218F4,1#,ZhongmeiConstructionGroupPlaza,ZhongdongRoad,ChangpingDistrict,BeijingT.010-8423389F.010-56842040H.(MDP)是明略数据基于ApacheHadoop研发的大数据平台。MDP不仅提供海量数据存储和多种高性能计算框架，还为保护平台上的数据和服务提供了完整的安全保障体系、图形化的平台管理和作业、统一的身份认证和权限管理、细粒度的权限控制以及实时增量数据同步工具。除了Hadoop组件外，MDP集成了明略自有组件包含：•统一集群与服务管理NoahArk•统一身份与授权管理组件Access•统一数据作业平台DataOne•细粒度的跨引擎SQL权限控制组件ACRE•实时增量关系数据库同步工具INCRMDP包含了十六种Hadoop社区最常用的组件，可以支撑多种计算类型的应用的混合负载，例如批处理应用、交互式查询、高频读写、全文检索、数据挖掘和实时流计算等多种计算北京明略软件系统有限公司MiningLampSoftwareSystemCo.,Ltd.A.北京市昌平区中东路398号中煤建设大厦1号楼4层邮政编码：102218F4,1#,ZhongmeiConstructionGroupPlaza,ZhongdongRoad,ChangpingDistrict,BeijingT.010-8423389F.010-56842040H.类型。各行各业可基于这些计算手段和方式进行上层应用的建设。图2MDP支持混合业务负载统一集群与服务管理NoahArkNoahArk（诺亚方舟）是明略自主研发的企业级Hadoop管理系统。NoahArk为MDP提供可视化的集群管理支持，帮助管理员提高运维效率、保证服务质量、优化集群性能、减少管理成本。NoahArk的主要功能包含仪表盘、机器管理、服务管理、调度器配置、安全审计、安全管理等功能模块。NoahArk的特点：极速部署NoahArk系统针对hadoop生态系统中常用服务组合，提供简洁的整体安装方案，达到1小时内构建整个数据平台的急速部署。精简操作NoahArk的设计目标是在任何规模，都能简单和明确的管理企业数据平台；用户可以集中地部署和管理整个集群。NoahArk重点优化集群管理的常用操作，力求一键式管理；并支持扩展非常用操作。便捷扩展NoahArk不仅能便捷横向扩展节点，也可以扩展符合标准的服务；使企业一站式管理集群上的全部服北京明略软件系统有限公司MiningLampSoftwareSystemCo.,Ltd.A.北京市昌平区中东路398号中煤建设大厦1号楼4层邮政编码：102218F4,1#,ZhongmeiConstructionGroupPlaza,ZhongdongRoad,ChangpingDistrict,BeijingT.010-8423389F.010-56842040H.务，包括hadoop生态系统中的组件和其他业务组件。安全生产NoahArk为大数据平台提供最高级别的保障，实时监控硬件、系统、数据平台、在线服务等各个部分，发现故障第一时间报警；同时，NoahArk还具备安全审计的功能，可对用户访问服务和数据的行为进行审计。全面管理NoahArk系统实现了所见即所得的效果，提供了统一的机器和服务的安装部署、实时监控、运维管理、日志汇总等功能，并提供可视化、易用性界面，满足运维管理人员针对集群机器、服务及组件的统一运维管理需求；统一集中式管理使得集群部署和运维操作更加快速、规范，监控报警更加实时有效；统一的日志管理方便更加快速定位、解决集群中存在的问题。丰富APINoahArk系统提供了丰富的API接口，允许运维管理人员以及其它有需求的业务部门通过对API的调用即可方便的进行集群的资源管理和监控报警等信息的获取统一身份与授权管理AccessAccess是MDP中负责账号和权限管理的组件。它主要由以下特点：基于LDAP的独立身份系统Access使用LDAP存储平台上的用户身份信息，并支持与企业原有的用户体系对接。基于Kerberos的安全身份认证Access集成了Kerberos作为MDP的安全身份认证体系，支持单点登录。北京明略软件系统有限公司MiningLampSoftwareSystemCo.,Ltd.A.北京市昌平区中东路398号中煤建设大厦1号楼4层邮政编码：102218F4,1#,ZhongmeiConstructionGroupPlaza,ZhongdongRoad,ChangpingDistrict,BeijingT.010-8423389F.010-56842040H.功能级别的服务授权管理Access支持HDFS、YARN、HBase、Oozie等关键组件的服务授权功能，能够细粒度的限制用户使用服务的不同功能。细粒度的数据授权（通过ACRE）Access基于ACRE提供了MDP上细粒度的数据授权功能，能够对平台上的数据访问提供行访问权限控制以及列访问权限控制。图3Access平台用户管理统一数据作业平台DataOneDataOne,是明略数据结合自己多年的大数据技术使用经验，考虑企业传统IT技术人才的北京明略软件系统有限公司MiningLampSoftwareSystemCo.,Ltd.A.北京市昌平区中东路398号中煤建设大厦1号楼4层邮政编码：102218F4,1#,ZhongmeiConstructionGroupPlaza,ZhongdongRoad,ChangpingDistrict,BeijingT.010-8423389F.010-56842040H.技术特点，为降低大数据实施成本，加速大数据落地，简化用户操作，优化用户体验而开发的统一大数据存储和处理的作业平台。DataOne是基于明略Hadoop大数据平台的全链路数据集成、存储管理、处理分析的大数据作业平台。其中主要包含了数据集成、数据处理、数据作业、数据查询等模块，通过全界面的方式提供给用户使用。DataOne其突出的极大特点是：1.使用大数据平台连接传统数据平台成本低，速度快2.完成数据的全生命周期管理3.操作容易方便图4DataOne产品结构图细粒度的跨引擎SQL权限控制ACREACRE是MDP独有的在Hive、Impala、SparkSQL上支持行列（Cell）级别访问控制的数据权限管理组件。北京明略软件系统有限公司MiningLampSoftwareSystemCo.,Ltd.A.北京市昌平区中东路398号中煤建设大厦1号楼4层邮政编码：102218F4,1#,ZhongmeiConstructionGroupPlaza,ZhongdongRoad,ChangpingDistrict,BeijingT.010-8423389F.010-56842040H.有以下特点：支持基于角色的授权模型ACRE中支持建立角色，且ACRE中的权限是赋予在角色上的。管理员可将角色授予不同的用户组，则用户组中的用户就有了角色上所赋予的权限。支持Hive、Impala、Spark的统一授权管理ACRE是平台级的跨引擎的数据权限管理组件，MDP上的Hive、Impala、SparkSQL三种引擎，均可以通过ACRE进行权限控制。支持行列（Cell）基本访问控制ACRE提供了细粒度的权限控制机制，管理员可以给角色赋予行权限和列权限，以控制用户在不同表内部的数据访问范围和访问方式。基于访问过滤的实现无需修改原数据库/表结构ACRE提供的是插件式的访问控制机制，ACRE通过对访问SQL进行检查和过滤来发生作用，并不会对数据进行任何的修改。实时增量关系数据库同步INCRINCR独创性的搭建了传统关系型数据库到大数据平台的高速公路，让所有传统应用软件所产生的数据流实时、增量的同步到大数据平台，参与数据关联和实现真正意义上的实时数据分析。北京明略软件系统有限公司MiningLampSoftwareSystemCo.,Ltd.A.北京市昌平区中东路398号中煤建设大厦1号楼4层邮政编码：102218F4,1#,ZhongmeiConstructionGroupPlaza,ZhongdongRoad,ChangpingDistrict,BeijingT.010-8423389F.010-56842040H.支持全量同步、实时增量同步、监控与报警、高性能等特点。同时，INCR也具有非常好的可扩展性，可以通过横向扩展来支持多个数据源的同步。MDP之安全性安全是MDP最关注的企业级需求，MDP提供了网络安全、主机安全、服务安全、数据安全四层安全机制来保障整个平台的安全。图6MDP的四层安全保障北京明略软件系统有限公司MiningLampSoftwareSystemCo.,Ltd.A.北京市昌平区中东路398号中煤建设大厦1号楼4层邮政编码：102218F4,1#,ZhongmeiConstructionGroupPlaza,ZhongdongRoad,ChangpingDistrict,BeijingT.010-8423389F.010-56842040H.中的关键服务均进行了主从热备机制，这些服务包含了HDFSNamenode,YarnResourceManager,HBaseMaster,HiveServer2,Oozie等。另外，MDP独有的组件，如NoahArk,DataOne等均提供了双活热备机制，来保障平台的正常运行。图7MDP的服务热备机制平台上各个服务的关键元数据，MDP也结合数据库和存储设备的raid机制等进行了热备和冷备的多重备份机制。北京明略软件系统有限公司MiningLampSoftwareSystemCo.,Ltd.A.北京市昌平区中东路398号中煤建设大厦1号楼4层邮政编码：102218F4,1#,ZhongmeiConstructionGroupPlaza,ZhongdongRoad,ChangpingDistrict,BeijingT.010-8423389F.010-56842040H.提供了全图形化的界面来支持平台运维工作。北京明略软件系统有限公司MiningLampSoftwareSystemCo.,Ltd.A.北京市昌平区中东路398号中煤建设大厦1号楼4层邮政编码：102218F4,1#,ZhongmeiConstructionGroupPlaza,ZhongdongRoad,ChangpingDistri