Hadoop离线_azkaban的使用

1246-谭同学

发表文章数:140

热门标签

,
首页 » 大数据 » 正文


1.多job工作流flow

1.第一个job文本文件

# command.job
type=command
command=echo 'hello world'

2.第二个job文本文件最后一行添加依赖即可

# command.job
type=command
command=echo 'bar job'
dependencies=foo			//第一个job文件的名字

之后需要将两个文件打包到一个压缩包中上传即可

2.HDFS操作任务

hdfs命令的job

# command.job
type=command
command=/export/servers/hadoop-2.6.0-cdh5.14.0/bin/hadoop fs -mkdir /azkaban
3.MapReduce任务

MapReduce

#command.job
type=command
command=/export/servers/hadoop-2.6.0-cdh5.14.0/bin/hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar pi 3 5

需要把jar包和job文件一起打包压缩

4.Hive脚本任务

1.先写一个sql文件

create database if not exists azhive;
use azhive;
create table if not exists aztest(id string,name string) row format delimited fields terminated by '/t';

2.再写Job文件,并把两个文件打包到一起

# command.job
type=command
command=/export/servers/hive-1.1.0-cdh5.14.0/bin/hive -f 'hive.sql'
5.创建项目执行任务

1.创建项目
Hadoop离线_azkaban的使用

2.上传将本地打包并压缩的foo.job文件

Hadoop离线_azkaban的使用

3.执行任务
Hadoop离线_azkaban的使用
Hadoop离线_azkaban的使用

6.定时任务

Hadoop离线_azkaban的使用

未经允许不得转载:作者:1246-谭同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《Hadoop离线_azkaban的使用》 发布于2021-02-09

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录