Sqoop如何安装、配置及基础使用

发布时间:2021-11-15 10:12:59 作者:小新
来源:亿速云 阅读:146

这篇文章给大家分享的是有关Sqoop如何安装、配置及基础使用的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。

12. Sqoop

此主题介绍Sqoop的安装、配置及基础使用。

Sqoop基本信息

官网:http://sqoop.apache.org/
官方文档:http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html

12.1. 安装 

wget http://mirror.bit.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
rm -rf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha ./frameworks/sqoop

12.2. 配置

vi ~/.profile

export SQOOP_HOME=/opt/workspaces/frameworks/sqoop
source ~/.profile

vi ./frameworks/sqoop/conf/sqoop-env.sh

export HADOOP_COMMON_HOME=/opt/workspaces/frameworks/hadoop
export HADOOP_MAPRED_HOME=/opt/workspaces/frameworks/hadoop
export HIVE_HOME=/opt/workspaces/frameworks/hive

下载mysql驱动

wget -P ./frameworks/sqoop/lib http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.36/mysql-connector-java-5.1.36.jar

12.3. 测试

./frameworks/sqoop/bin/sqoop version

12.4. 使用

从MySQL数据库导入数据

./frameworks/sqoop/bin/sqoop import --connect jdbc:mysql://<host>:<port>/hive \
 --username hive --password hive \
 --table ROLES \
 --where 1=1 \
 --hive-import --hive-table hive_role

# 如何要启用增量导入需要加上如下参数
--incremental lastmodified --check-column <source field> --last-value ''

增量的字段必须是timestampdate/datetime

感谢各位的阅读!关于“Sqoop如何安装、配置及基础使用”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!

推荐阅读:
  1. Sqoop 1.4.6 安装
  2. Sqoop如何安装配置

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

sqoop

上一篇:Zeppelin如何安装、配置及基础使用

下一篇:Kafka如何安装、配置及基础使用

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》