ASP站长网Hadoop集群有三种运行模式:单机模式、伪分布模式、完全分布模式。我们这里搭建第三种完全分布模式,即使用分布式系统,在多个节点上运行。
1 环境准备
1.1 配置DNS
进入配置文件,添加主节点和从节点的ip映射关系:
# vim /etc/hosts
10.0.0.45 master
10.0.0.46 slave1
10.0.0.47 slave2
1.2 关闭防火墙
# service iptables stop //关闭服务
# chkconfig iptables off //关闭开机自启动
1.3 配置免密码登录
(1)每个节点都首先进入/root/.ssh目录下,生成密钥:
# ssh-keygen -t rsa //输入命令之后连续回车就行了
(2)在主节点上,将公钥拷贝到一个特定文件中:
[root@master .ssh]# cp id_rsa.pub authorized_keys
(3)将每个从节点上生成的公钥复制到主节点上:
[root@slave1 .ssh]# scp id_rsa.pub master:/root/.ssh/id_rsa_slave1.pub
[root@slave2 .ssh]# scp id_rsa.pub master:/root/.ssh/id_rsa_slave2.pub
(4)在主节点上合并从节点的公钥:
[root@master .ssh]# cat id_rsa_slave1.pub>>authorized_keys
[root@master .ssh]# cat id_rsa_slave2.pub>>authorized_keys
(5)将主节点上合并后的公钥复制到从节点上:
[root@master .ssh]# scp authorized_keys slave1:/root/.ssh
[root@master .ssh]# scp authorized_keys slave2:/root/.ssh
配置完成,在各个节点上进行ssh访问,若无需密码就能访问,则配置成功。
1.4 配置Java环境
首先下载jdk,保存到指定目录。设置环境变量:
# vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_112
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
# source /etc/profile //使配置生效
验证配置是否成功:
# java -vesrion
若出现下面的配置信息则表示java环境配置成功了:
大型站长资讯类网站! https://www.0792zz.cn