[Hadoop] Sqoop安装过程详解

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
 
Sqoop官方版本:
Sqoop CDH版本:
Hadoop CDH版本:

之前已经安装Hadoop-0.20.2(见 ),因sqoop官方版本不支持此版本,但可使用CDH3版本,如上面的下载链接。为了测试方便,可以通过拷贝相应的包到sqoop-1.2.0-CDH3B4/lib下,依然可以使用Hadoop-0.20.2版本。

sqoop版本: sqoop-1.2.0-CDH3B4
 
Hadoop版本:0.20.2
 
mysql版本: 5.6.11

1)解压缩sqoop安装文件

[hadoop@node01 ~]$ tar -xzvf sqoop-1.2.0-CDH3B4.tar.gz

2)sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20.2-CDH3B4.jar,所以你需要下载hadoop- 0.20.2-CDH3B4.tar.gz,解压缩后将hadoop-0.20.2-CDH3B4/hadoop-core-0.20.2- CDH3B4.jar复制到sqoop-1.2.0-CDH3B4/lib中。

[hadoop@node01 ~]$ cp hadoop-core-0.20.2-CDH3B4.jar sqoop-1.2.0-CDH3B4/lib
 

[hadoop@node01 ~]$ ls -l sqoop-1.2.0-CDH3B4/lib/hadoop-core-0.20.2-CDH3B4.jar
 
-rw-r--r--. 1 hadoop root 3452461 May  9 05:40 sqoop-1.2.0-CDH3B4/lib/hadoop-core-0.20.2-CDH3B4.jar

3)另外,sqoop导入mysql数据运行过程中依赖mysql-connector-java-*.jar,所以你需要下载mysql-connector-java-*.jar并复制到sqoop-1.2.0-CDH3B4/lib中

[hadoop@node01 ~]$ cp mysql-connector-java-5.1.24-bin.jar sqoop-1.2.0-CDH3B4/lib
 
[hadoop@node01 ~]$ ls -l sqoop-1.2.0-CDH3B4/lib/mysql-connector-java-5.1.24-bin.jar
 
-rw-r--r--. 1 hadoop root 846263 May  9 05:43 sqoop-1.2.0-CDH3B4/lib/mysql-connector-java-5.1.24-bin.jar

4)修改SQOOP的文件configure-sqoop,注释掉hbase和zookeeper检查(除非你准备使用HABASE等HADOOP上的组件),否则在进行hbase和zookeeper检查时,可能会卡在这里。


[hadoop@node01 bin]$ pwd
 
/home/hadoop/sqoop-1.2.0-CDH3B4/bin
 
[hadoop@node01 bin]$ vi configure-sqoop
 


#if [ -z "${HBASE_HOME}" ]; then
 
#  HBASE_HOME=/usr/lib/hbase
 
#fi
 
#if [ -z "${ZOOKEEPER_HOME}" ]; then
 
#  ZOOKEEPER_HOME=/usr/lib/zookeeper
 
#fi
 


#if [ ! -d "${HBASE_HOME}" ]; then
 
#  echo "Error: $HBASE_HOME does not exist!"
 
#  echo 'Please set $HBASE_HOME to the root of your HBase installation.'
 
#  exit 1
 
#fi
 
#if [ ! -d "${ZOOKEEPER_HOME}" ]; then
 
#  echo "Error: $ZOOKEEPER_HOME does not exist!"
 
#  echo 'Please set $ZOOKEEPER_HOME to the root of your ZooKeeper installation.'
 
#  exit 1
 
#fi

5)启动Hadoop
 

[hadoop@node01 bin]$ start-all.sh
 
[hadoop@node01 bin]$ jps
 
2732 Jps
 
2478 NameNode
 
2665 JobTracker
 
2600 SecondaryNameNode

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/b1d257da8cce3d136cabbb10844adccf.html