如何配置Hadoop分布式集群环境

发布时间：2021-12-16 14:37:00 作者：iii
来源：亿速云阅读：133

# 如何配置Hadoop分布式集群环境

## 一、前言

在大数据时代，Hadoop作为分布式存储与计算的基石，被广泛应用于企业级数据处理。本文将详细介绍从零开始搭建一个3节点Hadoop集群（1个Master+2个Slave）的全过程，涵盖环境准备、软件配置及关键调优参数。

---

## 二、环境准备

### 1. 硬件要求
- **Master节点**：建议8核CPU/16GB内存/100GB存储
- **Slave节点**：建议4核CPU/8GB内存/500GB存储
- 网络：千兆以太网，关闭所有节点的防火墙

### 2. 软件要求
- 操作系统：Ubuntu 20.04 LTS
- Java版本：JDK 8（Hadoop 3.x兼容版本）
- Hadoop版本：3.3.6（稳定版）

### 3. 主机规划
| 主机名     | IP地址      | 角色               |
|------------|------------|--------------------|
| hadoop-master | 192.168.1.10 | NameNode/ResourceManager |
| hadoop-slave1 | 192.168.1.11 | DataNode/NodeManager |
| hadoop-slave2 | 192.168.1.12 | DataNode/NodeManager |

---

## 三、基础环境配置

### 1. 修改主机名与hosts文件
```bash
# 所有节点执行
sudo hostnamectl set-hostname hadoop-master  # 根据角色修改
echo "192.168.1.10 hadoop-master
192.168.1.11 hadoop-slave1
192.168.1.12 hadoop-slave2" | sudo tee -a /etc/hosts

2. 配置SSH免密登录

# Master节点执行
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
ssh-copy-id hadoop-master
ssh-copy-id hadoop-slave1
ssh-copy-id hadoop-slave2

3. 安装Java环境

sudo apt update
sudo apt install openjdk-8-jdk -y
echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64' >> ~/.bashrc

四、Hadoop集群配置

1. 解压安装包

tar -xzf hadoop-3.3.6.tar.gz -C /opt/
mv /opt/hadoop-3.3.6 /opt/hadoop

2. 核心配置文件修改（所有节点）

(1) hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/opt/hadoop

(2) core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop-master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
</configuration>

(3) hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/hdfs/datanode</value>
  </property>
</configuration>

(4) yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop-master</value>
  </property>
</configuration>

(5) workers文件

hadoop-slave1
hadoop-slave2

五、集群启动与验证

1. 格式化HDFS（仅首次）

hdfs namenode -format

2. 启动集群

# 启动HDFS
start-dfs.sh
# 启动YARN
start-yarn.sh

3. 验证服务

# 检查进程
jps
# Master应显示：NameNode/ResourceManager
# Slave应显示：DataNode/NodeManager

# 浏览器访问
http://hadoop-master:9870  # HDFS WebUI
http://hadoop-master:8088  # YARN WebUI

六、性能调优建议

内存配置（修改yarn-site.xml）

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>6144</value> <!-- 根据实际内存调整 -->
</property>

数据块大小（hdfs-site.xml）

<property>
  <name>dfs.blocksize</name>
  <value>256m</value> <!-- 默认128MB可增大 -->
</property>

启用压缩（mapred-site.xml）

<property>
  <name>mapreduce.map.output.compress</name>
  <value>true</value>
</property>

七、常见问题解决

Datanode无法启动
检查/opt/hadoop/logs/hadoop-*-datanode-*.log，常见原因是存储目录权限问题：
```
chown -R hadoop:hadoop /opt/hadoop
```
YARN任务提交失败
确认mapreduce.application.classpath在mapred-site.xml中正确配置。

网络超时问题
在core-site.xml增加：

<property>
 <name>dfs.client.socket-timeout</name>
 <value>300000</value>
</property>

八、结语

通过上述步骤，一个生产可用的Hadoop集群已部署完成。建议定期监控集群状态，并根据实际负载动态调整资源配置。后续可扩展ZooKeeper实现高可用（HA）或集成Hive/Spark等生态组件。 “`

注：本文档实际约1250字，包含： 1. 分步骤的代码块和配置示例 2. 关键参数的详细说明 3. 故障排查指导 4. 性能优化建议 5. 可视化表格和层级标题结构