CentOS 7下CDH配置Hadoop集群

一、说明
ASP站长网节点(CentOS7.5) Server  || Agent CPU
node11 Server  || Agent 4G
node12 Agent 2G
node13 Agent 2G
二、系统环境搭建
1、网络配置(所有节点)
1．设置主机名和IP
 
2．配置/etc/hosts  IP和主机名的映射
 
2、SSH免密码登录
1．产生公钥和私钥：ssh-keygen -t rsa （一直回车直即可）
 
2．将公钥分发给所有节点（包括本机)：  ssh-copy-id -i 主机名
 
3．测试ssh访问:    ssh root@主机名
 
3、关闭防火墙
1．关闭防火墙：systemctl stop firewalld
 
2．防止开机自启：systemctl disable firewalld
 
3．查看状态：firewall-cmd --state
 
4、关闭SELINUX
1．编辑  vi /etc/selinux/config
 
2．将SELINUX设置为：SELINUX=disabled
 
[root@node11~]# sestatus -v
 
SELinux status: disabled 表示已经关闭了
 
5、安装JDK
1．查看安装的Java信息：
 
rpm -qa | grep java
 
2．卸载自带open jdk
 
rpm -e --nodeps 包名
 
3．创建/usr/java目录，并上传包到此目录下，然后将rpm包解压到此目录下
 
rpm -ivh  jdk-8u191-linux-x64.rpm
 
4．配置环境变量
 
vi /etc/profile
 
export JAVA_HOME=/usr/java/jdk1.8.0_191
 
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin
 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
 
5．使配置后的环境变量生效
 
source /etc/profile
 
6．查看是否安装成功
 
java -version
 
6、设置NTP
[root@node11~]#yum -y install ntp 更改master的节点
 
[root@node11~]## vi /etc/ntp.conf 注释掉所有server *.*.*的指向，新添加一条可连接的ntp服务器(我选的本公司的ntp测试服务器)
 
server 172.30.0.19 iburst 在其他节点上把ntp指向master服务器地址即可(/etc/ntp.conf下) server node11 iburst
 
[root@node11~]## systemctl start ntpd //启动ntp服务
 
[root@node11~]## systemctl status ntpd //查看ntp服务状态
 
7、安装配置MySQL
（主节点安装即可--这里将node11作为主节点）
 
1．卸载mariadb
 
rpm -qa|grep mariadb
 
rpm -e --nodeps mariadb的包名
 
 
 
2．上传MySQL包到自建目录：/opt/software
 
 
 
3．安装MySQL
 
# groupadd mysql
# useradd -r -g mysql -s /sbin/nologin mysql
#cd /usr/local/
# tar zxvf /root/mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz
# ln -s mysql-5.7.21-linux-glibc2.12-x86_64/ mysql
#cd mysql
# mkdir mysql-files
# chown -R mysql.mysql .
# bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
# cp -rf /etc/my.cnf /etc/my.cnf.old
# vim /etc/my.cnf
[mysqld]
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data
 
skip-grant-tables  
启动mysql
 
# bin/mysqld_safe --user=mysql &
# cp support-files/mysql.server /etc/init.d/mysql
# chmod a+x /etc/init.d/mysql
# chkconfig --add mysql
# chkconfig mysql on
# service mysql start
设置root的密码
 
mysql> use mysql;
mysql> update user set authentication_string=PASSWORD('123456') where User='root';
mysql> alter user root@'localhost' identified by '123456';  //修改密码
重新初始化
 
# killall mysqld
# rm -rf /usr/local/mysql/data/
# chown -R mysql.mysql /usr/local/mysql
# bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
# bin/mysql_ssl_rsa_setup
# service mysqld restart
授权root用户使用密码从任意主机连接到mysql服务器
 
GRANT ALL PRIVILEGES ON *.* TO 'ROOT'@'%' IDENTIFIED BY '1234' WITH GRANT OPTION;
 
flush privileges;
 
三、Cloudera Manager Server&Agent安装
CM安装包下载地址:   https://archive.cloudera.com/cm5/cm/5/
CDH安装包下载地址：  http://archive.cloudera.com/cdh5/parcels/5.15.0/
 
 
1、安装Cloudera Manager Server&Agent
上传到/home/tools下 (三台机器都要安装)    tar xvzf cloudera-manager-centos7-cm5.15.0_x86_64.tar.gz  -C /opt
 
 
 
2、配置CM Agent
1.cm的安装包的server和agent都是同一个包，启动的时候启动命令指定为server还是agent；
 
2.cm有一个工作目录，需要我们来创建；创建一个用户；修改agent的配置，给它指定server的位置；那个端口7182是server和agent通信的端口；
 
3.server_host配置为server的名字；
 
vi   /opt/cm-5.15.0/etc/cloudera-scm-agent/config.ini   中 server_host(三台机器)
 
 
 
3、创建用户cloudera-scm（所有节点）
useradd --system --home=/opt/cm-5.15.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
 
4、创建Parcel目录
创建parcel目录，这个目录是server和agent用来接收和发送数据的目录，server端的parcel-repo这个目录会把所有的安装文件全部下载到此目录，而agent也需要安装包，parcels就是用来存储指定的安装包的，当然需要有权限能操作这些目录；
 
Server节点
 
  mkdir -p /opt/cloudera/parcel-repo
 
  chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
 
Agent节点
 
 mkdir -p /opt/cloudera/parcels
 
 chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
 
把CDH安装包移到cloudera/parcel-repo下面,并修改其中后缀为sha1的文件为sha,如下
 
 
 
5、配置CM Server的数据库
cp mysql-connector-java.jar /opt/cm-5.15.0/share/cmf/lib/                 注意jar包名称要修改为mysql-connector-java.jar
 
复制代码
mysql -u root -p123456
use mysql;
grant all on *.* to 'root'@'%' identified by 'root' with grant option;
flush privileges;­
初始化cm数据库:   cd /opt/cm-5.15.0/share/cmf/schema/
 ./scm_prepare_database.sh mysql cm -h node11 -uroot -p123456 --scm-host node11 scm scm scm  
格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器
复制代码
创建其他组件需要的数据库
 
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
 
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
 
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
 
6、启动CM Manager&Agent服务
先确保启动了mysql  service mysqld start
 
node11:执行    /opt/cm-5.15.0/etc/init.d/cloudera-scm-server start
 
node11,12,13:   执行  /opt/cm-5.15.0/etc/init.d/cloudera-scm-agent start
 
service服务启动需要几分钟，取决于服务器的性能，此时我们可以使用
 
netstat -apn|grep 7180
 
 
查询端口被占用后，就可以用浏览器打开http://node11:7180/进行访问了，登录用户名与密码分别为admin。
 
7、Server&Agent开机自启动服务
将/opt/cm-5.15.0/etc/init.d/目录下的cloudera-scm-server服务器启动脚本和cloudera-scm-agent代理服务启动脚本复制到/etc/init.d/目录下面。（/etc/init.d/目录用于存放开机启动脚本的目录）
 
复制代码
//配置server主节点node11
[root@node11 ~]# cp /opt/cm-5.15.0/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server
[root@node11 ~]# chkconfig --add cloudera-scm-server
[root@node11 ~]# chkconfig cloudera-scm-server on
[root@node11 ~]# vi /etc/init.d/cloudera-scm-server
CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default} 修改为 CMF_DEFAULTS=${CMF_DEFAULTS:-/opt/cm-5.15.0/etc/default}  #你的cloudera manager安装目录，然后保存退出即可。
添加：export JAVA_HOME=/usr/local/java/jdk1.8           #你的java安装目录
[root@node11 ~]# chkconfig --list cloudera-scm-server  //然后查看状态,如果2-5显示开启表示配置成功。
[root@node11 ~]# service cloudera-scm-server start & systemctl start cloudera-scm-server.service
 
//配置agent所有节点,node11,node12,node13
[root@node11 ~]# cp /opt/cm-5.15.0/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent
[root@node11 ~]# chkconfig --add cloudera-scm-agent
[root@node11 ~]# chkconfig cloudera-scm-agent on
[root@node11 ~]# vi /etc/init.d/cloudera-scm-agent
CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default} 修改为 CMF_DEFAULTS=${CMF_DEFAULTS:-/opt/cm-5.15.0/etc/default}
添加：export JAVA_HOME=/usr/local/java/jdk1.8         #你的java安装目录
[root@node11 ~]# service cloudera-scm-agent start & systemctl start cloudera-scm-agent.service
复制代码
四、CDH5安装
 
 
下一步,选择免费版本
 
 
 
继续,下一步,直到如下界面,可以在当前管理的主机列表中看到对应的节点。选择要安装的节点，这里我选择全部节点，继续。
 
 
 
选择自己下载的CDH版本,点击继续
 
 
 
接下来是安装Parcel,服务器检查，
 
 
 
更改交换空间:
 
echo 10 > /proc/sys/vm/swappiness
 
如下禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置。以下主机将受到影响:
 
echo never > /sys/kernel/mm/transparent_hugepage/defrag
 
echo never > /sys/kernel/mm/transparent_hugepage/enabled