Hadoop(七)Sqoop

1038-茹同学

发表文章数:74

热门标签

首页 » 大数据 » 正文

参考文章:
Sqoop教程(一) Sqoop数据迁移工具
Sqoop——vue5在线教程

Sqoop简介

Sqoop: “SQL到Hadoop和Hadoop到SQL”

Sqoop是一种用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从MySQL,Oracle等关系数据库向Hadoop HDFS导入数据,并从Hadoop文件系统导出到关系数据库。

Hadoop(七)Sqoop

Sqoop命令

import数据导入

import:从MySQL导入到HDFS文件系统数据

–connect:数据库JDBC连接字符串jdbc:mysql://192.168.1.105:3306/sqoop_db

–username:数据库用户名

–password:数据库密码

–table:数据库表名

–columns:数据库列名

sqoop import /
--connect jdbc:mysql://192.168.1.105:3306/sqoop_db 
--username root 
--password root
--table product 
--columns 'PRODUCT_ID,PRODUCT_NAME,LIST_PRICE,QUANTITY,CREATE_TIME'

导入表数据子集

我们可以使用Sqoop导入工具中的"where"子句导入表的子集。它在相应的数据库服务器中执行相应的SQL查询,并将结果存储在HDFS的目标目录中。

sqoop import 
--connect jdbc:mysql://localhost/userdb 
--username root 
--table emp_add 
--m 1 
--where “city =’sec-bad’” 
--target-dir /wherequery

增量导入表数据

增量导入是仅导入表中新添加的行的技术。需要添加“incremental”,“check-column”和“last-value”选项来执行增量导入。

Sqoop import命令中的增量选项使用以下语法。

--incremental <mode>
--check-column <column name>
--last value <last check column value>
sqoop import 
--connect jdbc:mysql://localhost/userdb 
--username root 
--table emp 
--m 1 
--incremental append 
--check-column id 
-last value 1205

export数据导出

标签:

未经允许不得转载:作者:1038-茹同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《Hadoop(七)Sqoop》 发布于2020-11-09

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录