第 2 章 Sqoop 安装和配置

2.1 下载并解压

下载地址: http://archive.apache.org/dist/sqoop/1.4.6/

上传压缩包sqoop-1.4.6.bin__hadoop-2.0.4.tar.gz 到虚拟机上的/opt/software 目录下, 并解压改名:

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4.tar.gz -C /opt/module
cd /opt/module
cp -r sqoop-1.4.6.bin__hadoop-2.0.4 sqoop-1.4.6

备注: 由于 Sqoop 只是一个工具, 所以不需要分发到其他设备上.

2.2 配置

Sqoop的配置文件与大多数大数据框架类似，在 sqoop 根目录下的 conf 目录中。

配置 sqoop-env.sh

cp sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh

内容:

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2

#set the path to where bin/hbase is available
export HBASE_HOME=/opt/module/hbase-1.3.1

#Set the path to where bin/hive is available
export HIVE_HOME=/opt/module/hive-1.2.1

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/opt/module/zookeeper-3.4.13

2.3 copy mysql 驱动程序

因为 Sqoop 要从 Mysql 导入数据, 会把数据导出到 Mysql, 都需要 Mysql Java 驱动 jar, 所以需要 copy mysql 驱动程序给 Sqoop

把 mysql 的驱动 Jar 包 copy 到 Sqoop 的 ./lib 目录下.

cp mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop-1.4.6/lib

2.4 验证 Sqoop 是否配置正确

我们可以通过某一个 command 来验证 Sqoop 配置是否正确：

bin/sqoop help

2.5 测试 Sqoop 能否成功连接数据库

sqoop list-databases --connect jdbc:mysql://hadoop201:3306/ --username root --password aaa