1. 环境准备
在开始安装CDH5.9之前,需要确保CentOS系统满足以下要求:
- CentOS 7或更高版本
- 至少8GB RAM
- 50GB可用磁盘空间
- 稳定的网络连接
2. 系统配置
更新系统并安装必要的依赖:
sudo yum update -y
sudo yum install -y wget java-1.8.0-openjdk-devel
3. 下载CDH5.9安装包
从Cloudera官方网站下载CDH5.9安装包:
wget https://archive.cloudera.com/cdh5/one-click-install/redhat/7/x86_64/cloudera-cdh-5-0.x86_64.rpm
4. 安装CDH5.9
执行以下命令安装CDH5.9:
sudo rpm -ivh cloudera-cdh-5-0.x86_64.rpm
sudo yum install -y cloudera-manager-daemons cloudera-manager-server
5. 配置数据库
CDH需要使用数据库存储元数据。这里我们使用MySQL:
sudo yum install -y mysql-server
sudo systemctl start mysqld
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql scm scm password
6. 启动Cloudera Manager
启动Cloudera Manager服务:
sudo systemctl start cloudera-scm-server
7. 访问Web界面
打开浏览器,访问http://your_server_ip:7180,使用默认用户名和密码(admin/admin)登录。
8. 集群配置
按照Web界面的指引,完成集群配置、节点分配和服务启动。
9. 验证安装
通过Cloudera Manager界面检查所有服务的运行状态,确保一切正常。
10. 常见问题解决
- 内存不足:增加虚拟内存或调整服务配置
- 端口冲突:检查并修改冲突的端口配置
- 权限问题:确保用户具有适当的文件系统权限
通过以上步骤,您应该已经成功在CentOS上安装了CDH5.9。记得定期检查更新并进行系统维护,以确保集群的稳定运行。