首页 系统 Cloudera Manager 安装集群遇到的问题及处理

Cloudera Manager 安装集群遇到的问题及处理

ASP站长网多次安装集群,但每次都不能顺利,都会遇到很多很多的坑,今天就过去踩过的坑简单的总结一下,希望已经踩了的和正在踩的童鞋能够借鉴一下,希望对你们能有所帮助。
 
一、MySQL的配置
 
1、卸载原有的mysql
 
查看目前安装的mysql
 
rpm -qa |grep mysql
 
 
 
卸载自带的mysql
 
yum -y remove mysql-libs-5.1.73-7.el6.x86_64
 
2、安装mysql
 
mysql的安装有三种方式:
 
rpm包安装(本次就采用rmp包的安装方式进行演示)
源码安装(提供了源码安装的脚本)
yum安装(虽然安装方便,但是不建议使用)
rpm包的方式安装mysql
 
#加压tar文件
 
tar -xvf mysql-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar -C /files/mysql-rpm/
 
#安装rpm包
 
rpm -ivh /files/mysql-rpm/*.rpm
 
cp /usr/share/mysql/my-default.cnf /etc/my.cnf
 
#安装数据库
 
/usr/bin/mysql_install_db
 
#启动服务
 
service mysql start
 
#设置开机自启
 
chkconfig mysql on
 
#设置数据库密码
 
/usr/bin/mysqladmin -u root password '123456'
 
3、初始化数据库
 
mysql安装完了之后就是初始化数据库的过程,进去mysql库中
 
mysql -u root -p123456
 
执行一下的语句进行初始化建库
 
create database hive default charset utf8 collate utf8_general_ci;
create database hue default charset utf8 collate utf8_general_ci;
create database scm default charset utf8 collate utf8_general_ci;
create database amon default charset utf8 collate utf8_general_ci;
create database sentry default charset utf8 collate utf8_general_ci;
create database oozie default charset utf8 collate utf8_general_ci;
create database reports default charset utf8 collate utf8_general_ci;
grant all privileges on *.* to 'root'@'locolhost';
grant all on *.* to 'root'@'%' identified by '123456' with grant option;
grant all on *.* to 'root'@'Hadoop' identified by '123456' with grant option;
flush privileges;
 
然后重启数据库就ok了
 
service mysql restart
 
重点说明一下:mysql的安装是前期准备工作的重要一步,不建议使用yum安装,我就是因为图省事,直接用yum安装了mysql,导致在创建cmf数据的时候总是报连不上mysql服务的错误(即执行/opt/cm-5.11.1/share/cmf/schema/scmpreparedatabase.sh mysql cmf -hhadoop -uroot -p123456 –scm-host hadoop scm scm scm 命令),最后只得卸载了yum安装的mysql重新用rmp包安装的。
 
二、启动cloudera-scm-server
 
在启动cloudera-scm-server的时候报如下的错误(启来30秒左右自动关闭,查看日志文件:/opt/cm-5.11.1/log/cloudera-scm-server/cloudera-scm-server.log)
 
Caused by: javax.persistence.PersistenceException: org.hibernate.exception.GenericJDBCException: Could not open connection
 
错误原因:
1.缺少mysql的驱动包,检查/opt/cm-5.11.1/share/cmf/lib目录下是否有mysql的驱动;
2.检查mysql是否启动;
3.mysql本身的问题,只能卸载mysql重新安装(我就是这种方案解决的);
 
三、启动cloudera-scm-agent
 
在启动cloudera-scm-server的时候报如下的错误(启来30秒左右自动关闭,查看日志文件:/opt/cm-5.11.1/log/cloudera-scm-agent/cloudera-scm-agent.log)
 
ERROR Failed to connect to newly launched supervisor. Agent will exit
 
这种错误是因为主节点的uuid和从节点的一样,所以造成代理紊乱
 
错误原因:在主节点启动了agent后,再scp到其他节点,这样会把已经生成好的uuid带过去。所以必须等所有的agent节点都准备好之后,再启动agent
 
那遇到这种error如何处理:
1.删除/opt/cm-5.11.1/lib/cloudera-scm-agent目录下的所有文件(首先要保证server和agent服务都是关闭的)
2.删除mysql中cmf数据库
3.删除从节点中/opt/cm-5.11.1目录
 
4.重新复制到从节点

关于作者: dawei

【声明】:九江站长网内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。

热门文章