【拉勾训练营】大数据攀登之路 原创

601-赵同学

发表文章数:191

首页 » 大数据 » 正文



拉勾大数据训练营攀登之路


一、选择拉勾

八月份知道有 【拉勾大数据训练营第二期】 的消息就很果断地加入了,我是自学过一段时间并成功转行,选择拉勾的原因主要有:
1.想要有一个完整的大数据知识架构
2.体验实实在在公司级别的项目流程
3.进大厂的机会

这些拉勾训练营都能做到!


二、目前学习阶段的心得

现在因为工作的关系,现在学习进度落后了一个模块,学到了第一阶段最后一个模块,这也是拉勾比较人性化的地方,会有一个整体进度,然后再根据每个人不同的情况给予一定的宽容度,可以做到既不会落下大部队又不会工作学习协调不过来的情况。

课程上,我和从网上找过的课相比,最大的感受就是拉勾强调基础打稳把知识点联动学习从真正公司和项目的角度去分析这个知识点以后在工作中会发挥的作用。这是目前我在别的视频中找不到的点。

另外就是用一个大数据领域常听到的词来评价拉勾训练营的教学体系就是耦合度不高,负责不同领域讲课的老师负责批改作业和答疑解惑的导师负责协调进度解决非技术性问题的班班。所以能做到每个部分都不会出现忙不过来让学生等太久的问题。

虽然都说不管什么样的学习方式、什么样的学习机构都是看个人的努力,这句话是没错的,但是一个科学化的训练营是可以做到能让人在最短时间内学到既多又精确面向工作的认识的,至少现在的学习阶段拉勾让我感受到了这一点。

以下是我从拉勾课程和学习资料中,结合我之前自学的知识点整理的学习笔记。


三、学习笔记

1. Hadoop 核心及生态圈技术栈

 

1.1 Hadoop 框架核心

从 狭义 的层⾯来说,Hadoop 就是由 Doug Cutting 根据⾕歌三篇论⽂:《GoogleFS》 《MapReduce》 《BigTable》 开发的 分布式系统基础框架。

从 ⼴义 的层⾯看,Hadoop 不仅仅指⾃⾝单独的框架,还包括了整个 Hadoop ⽣态圈,⽽ Hadoop ⽣态圈共同努⼒做的⼀件事就是 如何以更低成本、更⾼效率从多种多样的数据海中挖掘出最有价值的数据并加以利⽤。这是 Hadoop 产⽣并不断发展的原因。


如果要⽤⽐较通俗的话来解释 Hadoop 的分布式,把⼀个⼀个服务器⽐作队友,拿到的数据⽐作敌⼈的话,就是队友们团结起来各⾃贡献出⾃⼰的⼒量和资源,同时要把敌⼈打散逐个击破。当然,这样⼀句话并不能完全释得通,只是为了更好地理解和记忆。

1.1.1 HDFS
1.1.2 MapReduce
1.1.3 Yarn

 

1.2 Hadoop 生态圈技术栈

1.2.1 数仓工具_Hive(更新中)
1.2.2 交互工具_Hue(更新中)
1.2.3 数据采集工具_Flume(更新中)
1.2.4 ETL 工具_Sqoop(更新中)

四、组件安装文档

1. 大数据集群搭建环境准备(旧版本,之后会更替为新版)

 

2. Hadoop 集群搭建

2.1 Apache 版(更新中)

2.2 CDH 版

2.2.1 standAlone 环境搭建(旧版本,之后会更替为新版)
2.2.2 伪分布模式环境搭建(旧版本,之后会更替为新版)
2.2.3 完全分布式环境搭建(旧版本,之后会更替为新版)
2.2.4 HA 模式集群环境搭建(旧版本,之后会更替为新版)

 

3. Hive 安装部署(旧版本,之后会更替为新版)

 

4. Hue 组件安装部署(旧版本,之后会更替为新版)

4.1 Hue 与 Hadoop 整合

4.2 Hue 与 Hive 整合

4.3 Hue 与 Mysql 整合

4.4 Hue 与 Impala 整合

 

5. Flueme 组件安装部署(旧版本,之后会更替为新版)

6. Sqoop 组件安装部署(旧版本,之后会更替为新版)

7. Impala 安装部署(旧版本,之后会更替为新版)


五、学习中遇到过的报错

1. hadoop-hdfs 目录无权限,DataNode 启动失败
2. 无法初始化 Hive 元数据
3. 使用 PREFIX=PATH make install 编译 hue 报错:……setuptools pip wheel failed with error code 2

未经允许不得转载:作者:601-赵同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《【拉勾训练营】大数据攀登之路 原创》 发布于2020-11-06

分享到:
赞(0) 打赏

评论 1

评论前必须登录!

  注册

  1. #1

    :huaix: 看来准备将自己学到的大数据从1.0变成2.0的进阶了

    管理员夏天老师1年前 (2020-11-24)

长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录