cm5.4和cdh5.4的安装教程

发布时间：2021-08-05 10:16:48 作者：chen
来源：亿速云阅读：206

# CM5.4和CDH5.4的安装教程

## 目录
1. [环境准备](#环境准备)
2. [安装CM5.4](#安装cm54)
3. [安装CDH5.4](#安装cdh54)
4. [集群配置](#集群配置)
5. [常见问题](#常见问题)
6. [总结](#总结)

---

## 环境准备

### 硬件要求
- **最低配置**：4核CPU/8GB内存/100GB硬盘（测试环境）
- **生产建议**：16核CPU/64GB内存/1TB SSD（每节点）

### 软件依赖
| 组件       | 版本要求          |
|------------|------------------|
| 操作系统   | CentOS/RHEL 7.x  |
| Java       | JDK 1.7+         |
| 数据库     | MySQL 5.7+       |
| Python     | 2.6/2.7          |

### 网络配置
```bash
# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 禁用SELinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

安装CM5.4

1. 配置Cloudera仓库

wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo -P /etc/yum.repos.d/

2. 安装JDK

yum install oracle-j2sdk1.7 -y

3. 安装CM Server

yum install cloudera-manager-server -y

4. 初始化数据库

CREATE DATABASE scm DEFAULT CHARACTER SET utf8;
GRANT ALL ON scm.* TO 'scm_user'@'%' IDENTIFIED BY 'Scm_password123!';

5. 启动服务

/usr/share/cmf/schema/scm_prepare_database.sh mysql scm scm_user Scm_password123!
systemctl start cloudera-scm-server

验证：访问 http://<server_ip>:7180，默认账号密码：admin/admin

安装CDH5.4

1. 添加Parcel仓库

在CM界面： 1. 导航至 Parcels > 配置 2. 添加远程仓库URL：

   https://archive.cloudera.com/cdh5/parcels/5.4.0/

2. 分发Parcel

# 手动下载（可选）
wget https://archive.cloudera.com/cdh5/parcels/5.4.0/CDH-5.4.0-1.cdh5.4.0.p0.27-el7.parcel

3. 主机准备

在所有节点执行：

yum install cloudera-manager-agent -y
echo "server_host=cm_server_ip" >> /etc/cloudera-scm-agent/config.ini
systemctl start cloudera-scm-agent

集群配置

1. 服务部署

通过CM向导： 1. 选择 自定义安装 2. 分配角色： - HDFS NameNode → master01 - YARN ResourceManager → master02 - ZooKeeper → 3/5/7个节点

2. 关键参数调优

服务	配置项	推荐值
HDFS	dfs.namenode.handler.count	100
YARN	yarn.nodemanager.resource.memory-mb	物理内存80%
HBase	hbase.regionserver.handler.count	60

3. 安全配置

# 启用Kerberos
kadmin.local -q "addprinc admin/admin"

常见问题

1. 启动失败：数据库连接错误

解决方案：

# 检查数据库权限
mysql -uscm_user -p -e "SHOW GRANTS;"

2. Parcel下载超时

临时修复：

scp CDH-5.4.0*.parcel root@agent_node:/opt/cloudera/parcel-repo/

3. 主机心跳丢失

# 重启agent
systemctl restart cloudera-scm-agent

总结

本文详细介绍了CM5.4和CDH5.4的安装流程，关键步骤包括： 1. 环境预检与依赖安装 2. CM Server的数据库配置 3. 通过Parcel机制分发CDH 4. 集群服务的合理化部署

最佳实践建议：生产环境建议使用外部高可用数据库（如PostgreSQL）并配置监控告警。

cm5.4和cdh5.4的安装教程
图：CDH5.4典型架构

”`

注：实际使用时请替换以下内容： 1. 数据库密码 Scm_password123! 2. CM Server IP地址 cm_server_ip 3. 示例图片URL 4. 根据实际硬件调整配置参数