Sqoop数据交换工具

Hadoop大数据解决方案进阶应用HadoopSqoop数据交换工具Sqoop介绍Sqoop1vsSqoop2课程目标Sqoop产生背景多数使用Hadoop技术处理大数据业务的企业有大量的数据存储在传统的关系型数据库(RDBMS)中由于缺乏工具的支持，对Hadoop和传统数据库系统中的数据进行相互传输是一件十分困难的事情传统数据库数据导入Hadoop，便于廉价处理和分析Hadoop数据导入传统数据库，可利用强大的SQL进一步分析和展示急需一个在RDBMS与Hadoop之间进行数据传输的项目Sqoop是什么Sqoop：SQL-to-Hadoop连接传统关系型数据库和Hadoop的桥梁把关系型数据库的数据导入到Hadoop与其相关的系统(如HBase和Hive)中把数据从Hadoop系统里抽取并导出到关系型数据库里利用MapReduce加快数据传输速度批处理方式进行数据传输Sqoop是什么为什么选择Sqoop高效、可控地利用资源任务并行度，超时时间等数据类型映射与转换可自动进行，用户也可自定义支持多种数据库MySQLOraclePostgreSQLSqoop1与Sqoop2两个不同版本，完全不兼容版本号划分方式Apache：1.4.x~，1.99.x~CDH：sqoop-1.4.3-cdh4,sqoop2-1.99.2-cdh4.5.0/Sqoop2比Sqoop1的改进引入sqoopserver，集中化管理Connector等多种访问方式：CLI，WebUI，RESTAPI引入基于角色的安全机制Sqoop1架构Sqoop1存在的问题基于命令行的操作方式易于出错，且不安全数据传输和数据格式是紧耦合的，这使得connector无法支持所有数据格式安全密钥是暴露出来的，非常不安全传统数据库的用户名和密码等Connector必须符合JDBC模型，并使用通用的JDBC词汇比如URL,database,table等Sqoop1下载安装下载：解压并创建链接Sqoop1配置环境变量配置，在.bashrc中添加如下内容：复制驱动包配置$SQOOP_HOME/conf/sqoop-env.shSqoop1配置测试Sqoop启动mysql并准备测试数据Sqoop1测试插入测试数据通过Sqoop列出workflow库所有表Sqoop命令帮助import和export工具通用选项Sqoop1import介绍将数据从关系型数据库导入Hadoop中将数据从mysql导入HDFS执行sqoopimport查看hdfs结果将数据从mysql导入HDFS-指定HDFS目录使用—target-dir参数使用—warehouse-dir参数