00hadoop环境准备

976-沈同学

发表文章数:65

热门标签

首页 » 大数据 » 正文

00hadoop环境准备

1.实验前规划三台主机

主机 hostname domain
192.168.124.110 node1.hadoop.com node1
192.168.124.120 node2.hadoop.com node2
192.168.124.130 node3.hadoop.com node3

克隆虚拟机
1,正常启动
2,进入虚拟机删除两个文件

a)    rm /etc/udev/rules.d/70-persistent-net.rules
b)    rm /etc/sysconfig/network-scripts/ifcfg-eth0

3,启动虚拟机 reboot
4,查看网络设备信息
5,保存网卡配置信息
00hadoop环境准备
6,新建一个网卡的配置文件

a)    cat /etc/udev/rules.d/70-persistent-net.rules

7,vi /etc/sysconfig/network-scripts/ifcfg-eth0 填写以下信息

DEVICE=eth0
HWADDR=00:50:56:36:ee:a8 需要修改
ONBOOT=yes
BOOTPROTO=dhcp

8,重启网卡

service network restart

9,查看分配的ip ifconfig
00hadoop环境准备
10,这时候,建议xshell连接ip,并修改网卡为静态ip

DEVICE=eth0
HWADDR=00:50:56:3E:1B:6E
ONBOOT=yes
BOOTPROTO=static
NETMASK=255.255.255.0
IPADDR=192.168.140.137
GATEWAY=192.168.140.2

GATEWAY(网关地址):
00hadoop环境准备

2.统一路径

统一路径:
mkdir -p /export/softwares 存放软件的压缩包
mkdir -p /export/servers 存放软件解压后的路径
cd servers –> mkdir shells 存放脚本

3.三台虚拟机关闭防火墙

  1. 即时生效,重启后失效
    开启: service iptables start
    关闭: service iptables stop
  2. 重启后生效
    开启: chkconfig iptables on
    关闭: chkconfig iptables off

4.三台机器关闭selinux

永久关闭:

vi /etc/sysconfig/selinux

SELINUX=enforcing 改为 SELINUX=disabled

重启服务reboot

5.三台机器更改主机名

vi /etc/sysconfig/network

HOSTNAME=localhost.localdomain  #修改localhost.localdomain为dw1.com

6.三台机器做主机名与IP地址的映射

vi /etc/hosts

192.168.91.131 dw1.com  dw1
192.168.91.132 dw2.com  dw2
192.168.91.133 dw3.com  dw3

7.创建dw用户

命令:# userdel -r scy 完全删除用户
useradd dw #创建dw用户

passwd dw #创建/更新dw用户密码
visudo #给用户分配sudo权限
dw ALL=(root)NOPASSWD:ALL
yum install lrzsz -y 直接拖拽的ftp传输工具

8.三台机器机器免密码登录

第一步:在三台机器执行以下命令,生成公钥与私钥
		#ssh-keygen -t rsa	(切换为root权限)
第二步:拷贝公钥到同一台机器
		#ssh-copy-id node1
第三步:复制第一台机器的认证到其他机器
		#scp /root/.ssh/authorized_keys node2:/root/.ssh
		#scp /root/.ssh/authorized_keys node3:/root/.ssh
第四步:解决每次ssh连接都需要确认
		# vi /etc/ssh/ssh_config
		StrictHostKeyChecking no

9.三台机器时钟同步

两种方式:
	第一种:如果机器可以联网,直接同步阿里云的时钟服务器即可
	通过网络连接外网进行时钟同步,必须保证虚拟机连上外网
	ntpdate us.pool.ntp.org;
	阿里云时钟同步服务器
	ntpdate ntp4.aliyun.com
	三台机器定时任务
	crontab  -e   
	*/1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;
	或者直接与阿里云服务器进行时钟同步
	crontab -e
	*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;
	
	第二种:如果机器都不可以联网,

10.三台机器安装jdk

10.1 root用户

查看自带的openjdk
rpm -qa | grep java
卸载系统自带的openjdk
rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64 --nodeps
yum -y install lrzsz (按照软件)
上传jdk并解压然后配置环境变量
说明:为了保持我们的安装环境统一和一致,我们这里创建两个约定俗称的文件夹,来进行我们的软件包的存放和软件的安装
所有软件的安装路径
mkdir -p /export/servers
所有软件压缩包的存放路径
mkdir -p /export/softwares
上传jdk到/export/softwares路径下去,并解压
tar -zxvf jdk-8u141-linux-x64.tar.gz -C ../servers/
配置环境变量
vim /etc/profile
export JAVA_HOME=/export/servers/jdk1.8.0_141
export PATH=:JAVA_HOME/bin:PATH
修改完成之后记得  source /etc/profile生效  java -version
以下是脚本安装方式

10.2 普通用户

上传jdk到/opt/softwares路径下去,并解压
sudo vi /etc/profile.d/env.sh

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=PATH:JAVA_HOME/bin

[dw@dw1 software]source /etc/profile.d/env.sh 
[dw@dw1 software] echo $JAVA_HOME
/opt/module/jdk1.8.0_144
#!/bin/bash

# 第一步解压安装包
tar -zxvf /export/softwares/jdk-8u141-linux-x64.tar.gz -C /export/servers/

cd /export/servers/jdk*
mypath=`pwd`

# 写入环境变量
echo "export JAVA_HOME=$mypath" >> /etc/profile
echo "export PATH=/$PATH:/$JAVA_HOME/bin" >> /etc/profile

# 安装第二台第三台jdk
for m in 2 3
do
 scp -r /export/servers/jdk* node$m:/export/servers/
done

# 配置第二台与第三台的环境变量
for n in 2 3
do 
 ssh node$n "echo 'export JAVA_HOME=$mypath' >> /etc/profile; echo 'export PATH=/$PATH:/$JAVA_HOME/bin' >> /etc/profile"
done
标签:

拜师教育学员文章:作者:976-沈同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《00hadoop环境准备》 发布于2020-03-30

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录