CentOS 7下Cloudera Manager及CDH 5.14.0安装过程详解

ASP站长网大家都知道，Apache Hadoop的配置很繁琐，而且很零散，为此Cloudera公司提供了Clouder Manager工具，而且还封装了Apache Hadoop,flume,spark，hive,hbase等大数据产品形成自己特色的CDH产品，再使用CM进行安装，很大程度上方便了集群的搭建，并提供了集群的监控功能。
 
一、环境:
 
1.三台VMware虚拟机(一个做为主节点，两个做为从节点)
 
hserver1n(主节点) hserver2n(从节点) hserver3n(从节点)
CM Server    
CM Agent CM Agent CM Agent
NameNode DateNode DateNode
Mysql    
2.操作系统:CentOS 7
 
3.Cloudera Manager:5.14.1
 
4.CDH：5.14.0
 
5.JDK1.8
 
二、软件下载地址
 
1.Cloudera Manager
 
2.CDH
 
3.JDK和MySQL自行搜索
 
三、系统环境设置:
 
以下步骤都使用root用户操作
 
1.设置静态IP
 
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="edcb54db-f59d-4893-bd8e-8ae60d0ba6f9"
DEVICE="ens33"
ONBOOT="yes"
GATEWAY=192.168.124.2
IPADDR=192.168.124.136
NETMASK=255.255.255.0
DNS1=202.96.128.86
DNS2=223.5.5.5
 
还需要设置虚拟网络:
 
(1) 点击虚拟网络编辑器
 
 
 
(2)子网，子网掩码，以及NAT设置
 
 
 
 
 
 
 
(3)虚拟机网络选择刚设置的VMnet8
 
 
 
（4）重启网络
 
[root@localhost ~]# systemctl restart network
 
 
 
 
 
2.关闭防火墙和SELINUX
 
 
 
[root@localhost ~]# vim /etc/selinux/config .config/
将selinux=enforcing改成selinux=disabled
 
重启虚拟机
 
3.安装JDK
 
   CentOS7默认安装的是OpenJDK,所以需要先卸载，然后安装Oracle JDK.
 
4.设置主机名(CentOS7与CentOS6主机名设置不同，请参考  https://www.linuxidc.com/Linux/2018-03/151464.htm )
 
（1）vim /etc/hostname
 
     hserver1n
 
 (2)hostname hserver1n
单台虚拟机设置好后，再复制两台虚拟机，修改HostName、IP、UUID即可。
 
5.配置三台虚拟机的Host文件
 
192.168.124.136　　hserver1n
 
192.168.124.137　　hserver2n
 
192.168.124.138　　hserver3n
 
6.打通主节点SSH访问两个从节点
 
7.配置所有节点NTP时间同步服务
 
   两个从节点同步主节点的时间
 
四、安装MySQL
 
 mysql只需在主节点安装
 mysql5.6开始mysql服务启动时会为root用户生成一个临时密码，通过grep 'password'  /var/log/mysqld.log命令获取
 配置密码验证策略，我选择的是不使用密码验证策略，以便创建简单密码
 配置数据库字符集，我配置默认的字符集是utf8。