ASP站长网Hadoop集群有三种运行模式:单机模式、伪分布模式、完全分布模式。我们这里搭建第三种完全分布模式,即使用分布式系统,在多个节点上运行。
 
1 环境准备
1.1 配置DNS
  进入配置文件,添加主节点和从节点的ip映射关系:
 
# vim /etc/hosts
 
10.0.0.45  master
10.0.0.46  slave1
10.0.0.47  slave2
1.2 关闭防火墙
# service iptables stop    //关闭服务
# chkconfig iptables off    //关闭开机自启动
1.3 配置免密码登录
 (1)每个节点都首先进入/root/.ssh目录下,生成密钥:
 
# ssh-keygen -t rsa  //输入命令之后连续回车就行了
(2)在主节点上,将公钥拷贝到一个特定文件中:
 
[root@master .ssh]# cp id_rsa.pub authorized_keys
(3)将每个从节点上生成的公钥复制到主节点上:
 
[root@slave1 .ssh]# scp id_rsa.pub master:/root/.ssh/id_rsa_slave1.pub
[root@slave2 .ssh]# scp id_rsa.pub master:/root/.ssh/id_rsa_slave2.pub
(4)在主节点上合并从节点的公钥:
 
 
[root@master .ssh]# cat id_rsa_slave1.pub>>authorized_keys
[root@master .ssh]# cat id_rsa_slave2.pub>>authorized_keys
(5)将主节点上合并后的公钥复制到从节点上:
 
 
[root@master .ssh]# scp authorized_keys slave1:/root/.ssh
[root@master .ssh]# scp authorized_keys slave2:/root/.ssh
   配置完成,在各个节点上进行ssh访问,若无需密码就能访问,则配置成功。
 
1.4 配置Java环境
   首先下载jdk,保存到指定目录。设置环境变量:
 
# vim  /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_112
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
# source /etc/profile     //使配置生效
   验证配置是否成功:
 
# java -vesrion
  若出现下面的配置信息则表示java环境配置成功了:
 
 

dawei

【声明】:九江站长网内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。