Hadoop离线_Sqoop的介绍及安装

1246-谭同学

发表文章数:140

热门标签

,
首页 » 大数据 » 正文


介绍

1.概述

Sqoop是Apache开源提供过的一款Hadoop和关系数据库服务器之间传送数据的工具。从关系数据库到Hadoop的数据库存储系统(HDFS,HIVE,HBASE等)称为导入,从Hadoop的数据库存储系统到关系数据库称为导出
Sqoop主要是通过MapReduce的InputFormat和OutputFormat来实现数据的输入和输出,底层执行的MapReduce任务只有Map阶段,没有Reduce阶段,也就是说只是单纯地将数据从一个地方抽取到另一个地方。

2.版本

Sqoop 1.x 不用安装,解压就能用
Hadoop离线_Sqoop的介绍及安装

Sqoop 2.x 架构发生了变化,引入了一个服务端,可以通过代码提交sqoop的任务
Hadoop离线_Sqoop的介绍及安装


安装

1.Sqoop安装

1.下载并解压
下载地址:http://archive.cloudera.com/cdh5/cdh/5/
这里使用的是sqoop1的版本,并且要和hadoop版本相对应,都是5.14.0
将安装包上传到/export/softwares目录中
tar -zxvf sqoop-1.4.6-cdh5.14.0.tar.gz -C ../servers/ 解压

2.修改配置文件
cd /export/servers/sqoop-1.4.6-cdh5.14.0/conf/
cp sqoop-env-template.sh sqoop-env.sh sqoop-env-template.sh是sqoop给的配置模板,所以最好复制一份出来
vim sqoop-env.sh
因为这里只用到Hadoop和Hive,所以只需要配置这两个的路径即可

export HADOOP_COMMON_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export HADOOP_MAPRED_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export HIVE_HOME=/export/servers/hive-1.1.0-cdh5.14.0

3.加入额外的依赖包
需要在Sqoop的lib目录下加入一个mysql的依赖包,一个java-json的依赖包,否则就会报错

4.启动:
cd /export/servers/sqoop-1.4.6-cdh5.14.0
bin/sqoop-version

未经允许不得转载:作者:1246-谭同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《Hadoop离线_Sqoop的介绍及安装》 发布于2021-02-09

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录