怎么启动并验证Hadoop分布式集群

# 怎么启动并验证Hadoop分布式集群

## 一、启动Hadoop集群

### 1. 环境准备
确保所有节点已完成以下配置：
- JDK 1.8+ 安装
- SSH免密登录配置
- `hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`、`yarn-site.xml` 文件正确配置
- `workers` 文件包含所有DataNode主机名

### 2. 格式化HDFS
首次启动需格式化NameNode：
```bash
hdfs namenode -format

3. 启动HDFS服务

start-dfs.sh

成功启动后进程应包含： - NameNode（主节点） - DataNode（工作节点） - SecondaryNameNode（备份节点）

4. 启动YARN服务

start-yarn.sh

验证ResourceManager和NodeManager进程是否运行。

二、集群验证方法

1. Web UI检查

• HDFS状态：访问 http://<namenode_ip>:9870
• YARN状态：访问 http://<resourcemanager_ip>:8088

2. 命令行验证

HDFS基础操作测试

# 创建测试目录
hdfs dfs -mkdir /test

# 上传本地文件
hdfs dfs -put localfile.txt /test/

# 查看文件列表
hdfs dfs -ls /test

# 删除测试目录
hdfs dfs -rm -r /test

YARN作业测试

运行示例MapReduce作业：

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi 2 5

3. 日志检查

查看关键日志确认无报错：

tail -n 100 $HADOOP_HOME/logs/hadoop-*-namenode-*.log
tail -n 100 $HADOOP_HOME/logs/hadoop-*-datanode-*.log

三、常见问题处理

1. 端口冲突：检查netstat -tunlp | grep java
2. 磁盘空间不足：df -h 查看磁盘使用
3. 权限问题：检查/tmp目录权限和SELinux状态

提示：建议首次启动时逐个组件手动启动（hadoop-daemon.sh start namenode），便于问题定位。

通过以上步骤，即可完成Hadoop集群的启动与基础验证。实际生产环境中还需进行性能基准测试（如TestDFSIO）和HA配置验证。 “`

（全文约560字）