hadoop离线 day07 cdh版本hadoop的源码重新编译和安装启动

1391-王同学

发表文章数:51

热门标签

, , , , ,
首页 » 大数据 » 正文

1、cdh版本的hadoop的源码重新编译

https://www.cloudera.com/
http://archive.cloudera.com/cdh5/cdh/5/

cdh版本的hadoop的编译:

  • 关闭防火墙 关闭
  • 安装jdk1.7
  • 安装maven
    指定mvnrepository.tar
  • 安装findbugs
  • 在线安装依赖包
  • 安装protobuf
  • snappy

2、cdh版本hadoop安装和配置

停止之前的所有服务并删除hadoop和zookeeper
rm -rf hadoop-2.7.5/ zookeeper-3.4.9/

2.1 安装zookeeper

cd /export/servers/zookeeper-3.4.5-cdh5.14.0
mkdir zkdatas
cd conf/
scp  zoo_sample.cfg zoo.cfg

修改 zoo.cfg
hadoop离线 day07 cdh版本hadoop的源码重新编译和安装启动

cd ../zkdatas/
echo 1 > myid
cd /export/servers/
 scp -r ookeeper-3.4.5-cdh5.14.0/ node02:/export/servers/

第二台机器:

cd /export/servers/zookeeper-3.4.5-cdh5.14.0
cd  zkdatas/
echo 2 > myid

第三台机器:

cd /export/servers/zookeeper-3.4.5-cdh5.14.0
cd  zkdatas/
echo 3 > myid

三台都启动:

cd /export/servers/zookeeper-3.4.5-cdh5.14.0
bin/zkServer.sh start

成功!!

2.2 安装cdh 版本的hadoop环境搭建

hadoop离线 day07 cdh版本hadoop的源码重新编译和安装启动

bin/hadoop checknative

hadoop离线 day07 cdh版本hadoop的源码重新编译和安装启动
安装openssl

修改配置文件:
core-site

创建目录

 mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
 mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
 mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas2
 mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas
 mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas2
 mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/nn/edits
 mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/snn/name
 mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/edits

复制hadoop到其他机器

scp -r hadoop-2.6.0-cdh5.14.0/ node02:/export/servers/
scp -r hadoop-2.6.0-cdh5.14.0/ node03:/export/servers/

配置环境变量(三台均要执行)

vim /etc/profile

export HADOOP_HOME=/export/servers/zookeeper-3.4.5-cdh5.14.0
export PATH=:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile
cd ../sbin/
start-dfs.sh
start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

成功!
hadoop离线 day07 cdh版本hadoop的源码重新编译和安装启动

未经允许不得转载:作者:1391-王同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《hadoop离线 day07 cdh版本hadoop的源码重新编译和安装启动》 发布于2020-12-03

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录