由 dawei
ASP站长网开发环境总体版本信息如下：
1、Linux：CentOS 6.8
2、Java版本：jdk-8u172-linux-x64.tar.gz
3、Hadoop版本：hadoop-3.1.0.tar.gz
4、scala版本：scala-2.12.6.tgz
5、Python版本：Python-3.6.5.tgz
6、spark版本：spark-2.3.0-bin-hadoop2.7.tgz
7、zookeeper版本：zookeeper-3.4.10.tar.gz
8、hive版本：
9、kafka版本：
10、服务器集群：192.168.0.110(master)，192.168.0.111(slave1)，192.168.0.112(slave2)
一、java的安装
1、上传jdk安装包到/usr/local/lib目录下，并解压缩
2、把解压的文件夹复制到另外两台机子
3、三台服务器分别修改bigdata用户的环境变量
4、使配置生效并验证
二、hadoop的安装
1、bigdata用户家目录下创建目录bigdata，上传hadoop安装包并解压
2、进入hadoop配置文件目录，修改hadoop配置
3、修改core-site.xml，添加红色方框的内容
4、修改hdfs-site.xml，并创建对应的目录
5、修改yarn-site.xml