1 oozie概述         oozie是运行在hadoop平台上的一种工作流调度引擎...

阅读(65)评论(0)2022-03-10

赞(0)

核心思想：分治        Map负责“分”，即把复杂的任务分解为若干...

阅读(148)评论(0)2022-02-21

赞(0)

----------------------------------主程序入口-----------...

阅读(293)评论(0)2021-11-16

赞(0)

​​​​​​​ 1、Fetch抓取(Hive可以避免进行MapReduce)         Hiv...

阅读(222)评论(0)2021-10-27

赞(0)

MapTask运行机制详解以及Map任务的并行度 在mapTask当中，一个文件的切片...

阅读(1232)评论(0)2021-04-08

赞(0)

<h1><a id="yarn_0"></a>yarn的出现&l...

阅读(1540)评论(0)2021-03-29

赞(0)

HBase通过JavaAPI与MapReduce结合 通过MapReduce实现Hbase读写 目的...

阅读(1872)评论(0)2021-01-24

赞(0)

资源相关参数 mapred-site.xml中的配置 mapreduce.map.memory.mb...

阅读(2558)评论(0)2021-01-14

赞(0)

1 求取Top 1的数据 需求: 求出每一个订单中成交金额最大的一笔交易 订单id 商品id 成交金...

阅读(2155)评论(0)2021-01-14

赞(0)

需求 将订单的好评与差评区分开来，并将最终的数据发送到不同的文件夹下面去 注ÿ...

阅读(2241)评论(0)2021-01-14

赞(0)