一、主机规划
 
3台主机：1个master、2个slaver/worker
 
ip地址使用docker默认的分配地址：
 
master：
 
ASP站长网主机名： Hadoop2、ip地址： 172.17.0.2
 
slaver1：
 
主机名： hadoop3、ip地址： 172.17.0.3
 
主机名： hadoop4、ip地址： 172.17.0.4
 
二、软件安装
 
1、在docker中安装CentOS镜像，并启动centos容器，安装ssh。–详见"docker上安装centos镜像"一文。
 
2、通过ssh连接到centos容器，安装jdk1.8、hadoop3.0
 
可以按照传统linux安装软件的方法，通过将jdk和hadoop的tar包上传到主机进行安装。
 
获取centos7镜像
 
$ docker pull centos
 
大概是70多M，使用阿里云等Docker加速器的话很快就能下载完，之后在镜像列表中就可以看到
 
查看镜像列表的命令：
 
$ docker images
 
安装SSH
 
以centos7镜像为基础，构建一个带有SSH功能的centos
 
$ vi Dockerfile
 
内容：
 
FROM centos
MAINTAINER linuxidc@linuxidc.com
 
RUN yum install -y openssh-server sudo
RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config
RUN yum  install -y openssh-clients
 
RUN echo "root:abc123" | chpasswd
RUN echo "root  ALL=(ALL)      ALL" >> /etc/sudoers
RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key
 
RUN mkdir /var/run/sshd
EXPOSE 22
CMD ["/usr/sbin/sshd", "-D"]
 
这段内容的大意是：以 centos 镜像为基础，安装SSH的相关包，设置了root用户的密码为 abc123，并启动SSH服务
 
执行构建镜像的命令，新镜像命名为 centos7-ssh
 
$ docker build -t="centos7-ssh" .
 
执行完成后，可以在镜像列表中看到
 
$ docker images
 
构建Hadoop镜像
 
上面是运行了3个centos容器，需要在每个容器中单独安装Hadoop环境，我们可以像构建SSH镜像一样，构建一个Hadoop镜像，然后运行3个Hadoop容器，这样就更简单了
 
$ vi Dockerfile
 
内容：
 
FROM centos7-ssh
ADD jdk-8u151-linux-x64.tar.gz /usr/local/
RUN mv /usr/local/jdk1.8.0_151 /usr/local/jdk1.8
ENV Java_HOME /usr/local/jdk1.8
ENV PATH $JAVA_HOME/bin:$PATH
 
ADD hadoop-3.1.0.tar.gz /usr/local
RUN mv /usr/local/hadoop-3.1.0 /usr/local/hadoop
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $HADOOP_HOME/bin:$PATH
 
RUN yum install -y which sudo
 
这里是基于 centos7-ssh 这个镜像，把 JAVA 和 Hadoop 的环境都配置好了
 
前提：在Dockerfile所在目录下准备好 jdk-8u101-linux-x64.tar.gz 与 hadoop-2.7.3.tar.gz
 
执行构建命令，新镜像命名为 hadoop
 
$ docker build -t="hadoop" .
 
在/etc/hosts文件中添加3台主机的主机名和ip地址对应信息
 
172.17.0.2      hadoop2
172.17.0.3      hadoop3
172.17.0.4      hadoop4
 
在docker中直接修改/etc/hosts文件，在重启容器后会被重置、覆盖。因此需要通过容器启动脚本docker run的–add-host参数将主机和ip地址的对应关系传入，容器在启动后会写入hosts文件中。如：
 
docker run –name hadoop2–add-host hadoop2:172.17.0.2 –add-host hadoop3:172.17.0.3 –add-host hadoop4:172.17.0.4 hadoop
 
docker exec -it hadoop2 bash
 
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
 
hadoop部署
 
1.在workers文件中定义工作节点
 
在hadoop根目录下的etc/hadoop目录下新建workers文件，并添加工作节点主机信息。
 
按照步骤一中的主机规划，工作节点主机为hadoop3和hadoop4两台主机。如：
 
[root@9e4ede92e7db ~]# cat /usr/local/hadoop/etc/hadoop/workers
hadoop3
hadoop4
 
2、修改配置文件信息
 
a、在hadoop-env.sh中，添加JAVA_HOME信息
 
[root@9e4ede92e7db ~]# cat /usr/local/hadoop/etc/hadoop/hadoop-env.sh |grep JAVA_HOME
#  JAVA_HOME=/usr/java/testing hdfs dfs -ls
# Technically, the only required environment variable is JAVA_HOME.
# export JAVA_HOME=
JAVA_HOME=/usr/local/jdk1.8
 
b、core-site.xml
 
configuration><property>
<name>fs.default.name</name>
<value>hdfs://hadoop2:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>
 
c、hdfs-site.xml
 
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop2:9001</value>
<description># 通过web界面来查看HDFS状态 </description>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
<description># 每个Block有2个备份</description>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
 
d、yarn-site.xml
 
<configuration>
<!– Site specific YARN configuration properties –>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop2:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop2:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop2:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop2:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop2:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>
</configuration>
 
e、mapred-site.xml
 
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop2:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop2:19888</value>
</property>
</configuration>