Hadoop离线_flume的介绍

1246-谭同学

发表文章数:140

热门标签

, ,
首页 » 大数据 » 正文

flume的介绍


1.概述:

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。它可以采集文件,socket数据包、文件、文件夹、kafka等各种形式源数据,又可以将采集到的数据 sink(下沉) 到HDFS、hbase、hive、kafka等众多外部存储系统中,因此,flume可以适用于大部分的日常数据采集场景

2.运行机制:

Flume分布式系统中最核心的角色是Agent,每一个Agent相当于一个数据传递员

3.三个组件

Source:数据采集组件,对接数据源,采集数据
Channel:传输通道组件,主要是将Source的数据传递到sink,也可以理解为是一个缓冲区
Sink:下沉组件,用于往下一级Agent或者最终存储系统传递数据

4.结构图

单机版
Hadoop离线_flume的介绍
高可用:
Hadoop离线_flume的介绍

未经允许不得转载:作者:1246-谭同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《Hadoop离线_flume的介绍》 发布于2021-02-09

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录