Hadoop集群怎么构建

# Hadoop集群怎么构建

## 一、Hadoop集群概述

Hadoop是一个由Apache基金会开发的分布式系统基础架构，其核心设计包括：
- HDFS（分布式文件系统）
- MapReduce（分布式计算框架）
- YARN（资源调度系统）

典型的生产环境集群包含三类节点：
1. **主节点（Master）**：运行NameNode、ResourceManager等关键服务
2. **从节点（Slave）**：运行DataNode、NodeManager等工作者服务
3. **客户端节点**：提交作业和访问集群

## 二、前期准备

### 1. 硬件要求
| 节点类型 | 建议配置 |
|---------|---------|
| Master  | 16核CPU/32GB内存/1TB存储 |
| Slave   | 8核CPU/16GB内存/10TB存储 |
| Client  | 4核CPU/8GB内存即可 |

### 2. 软件环境
- 操作系统：CentOS 7/8或Ubuntu 18.04+
- Java版本：JDK 8（必须Oracle或OpenJDK）
- SSH无密码登录配置
- 网络要求：
  - 节点间千兆网络连接
  - 关闭所有防火墙或开放必要端口（50070, 8088等）

## 三、详细构建步骤

### 1. 系统基础配置
```bash
# 所有节点执行
sudo hostnamectl set-hostname master  # 分别设置hostname
echo "192.168.1.10 master" >> /etc/hosts
echo "192.168.1.11 slave1" >> /etc/hosts
echo "192.168.1.12 slave2" >> /etc/hosts

# 配置SSH免密登录
ssh-keygen -t rsa
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

2. JDK安装

tar -zxvf jdk-8u301-linux-x64.tar.gz -C /opt/
echo 'export JAVA_HOME=/opt/jdk1.8.0_301' >> /etc/profile
echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile
source /etc/profile

3. Hadoop安装部署

1. 下载Hadoop 3.3.4二进制包
2. 解压到/usr/local目录
3. 配置环境变量：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4. 关键配置文件修改

core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/data/hadoop/tmp</value>
  </property>
</configuration>

hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>/data/hadoop/namenode</value>
</property>

yarn-site.xml

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>master</value>
</property>

5. 集群启动流程

# 首次启动需要格式化HDFS
hdfs namenode -format

# 启动HDFS
start-dfs.sh

# 启动YARN
start-yarn.sh

# 验证服务
jps  # 主节点应显示NameNode/ResourceManager

四、集群验证与测试

1. Web UI访问

• HDFS状态：http://master:9870
• YARN管理：http://master:8088

2. 基准测试

# 测试HDFS写入性能
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 1GB

# 运行WordCount示例
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /input /output

五、运维管理要点

1. 日常维护命令

# 查看HDFS空间使用
hdfs dfsadmin -report

# 安全模式操作
hdfs dfsadmin -safemode enter/leave

# 节点退役
hdfs dfsadmin -refreshNodes

2. 监控方案

• 使用Ambari或Cloudera Manager
• 配置Prometheus+Grafana监控
• 关键监控指标：
  • HDFS存储利用率
  • YARN容器使用情况
  • 节点磁盘健康状态

六、常见问题解决

1. DataNode无法启动

   • 检查防火墙设置
   • 确认dfs.data.dir目录权限

2. YARN资源分配不足

   <!-- yarn-site.xml增加 -->
   <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8192</value>
   </property>
   

3. NameNode启动失败

   • 检查格式化日志
   • 恢复元数据备份

七、扩展建议

1. 高可用方案：

   • 配置ZooKeeper实现NameNode HA
   • 使用JournalNode共享编辑日志

2. 性能优化：

   • 调整HDFS块大小（默认128MB）
   • 配置MapReduce内存参数
   • 启用数据本地化优化

提示：生产环境建议至少部署3个JournalNode和2个NameNode，ZooKeeper集群应为奇数节点（3/5/7台）

通过以上步骤，一个完整的Hadoop集群即可投入生产使用。建议首次部署后在测试环境充分验证，再迁移到生产环境。 “`