Ubuntu如何解决HDFS集群问题

Ubuntu下HDFS集群问题排查与修复指南

一 快速自检与恢复

• 检查进程：在 NameNode 与各 DataNode 上执行 jps，应分别看到 NameNode/DataNode/SecondaryNameNode（若部署了 YARN，则还有 ResourceManager/NodeManager）。
• 查看日志：第一时间查看 $HADOOP_HOME/logs/ 下对应进程的 .log 文件，定位 Fatal/Error/Exception。
• 集群健康：执行 hdfs dfsadmin -report 查看 Live/Decommissioning/Failed 节点数；必要时用 hdfs fsck / 检查块健康。
• 安全模式：若处于安全模式导致写入失败，执行 hdfs dfsadmin -safemode leave 退出。
• 端口连通：确认 9000（RPC）、50070（NameNode Web）等端口未被防火墙阻断；云环境需放通安全组。
• 首次或异常后恢复：仅在确认可丢失数据或已备份的前提下，清理 dfs.namenode.name.dir/dfs.datanode.data.dir 或安装目录下的 tmp/，再执行 hdfs namenode -format 后启动。
  以上步骤覆盖了进程、日志、连通、安全模式与数据目录等最常见的故障面。

二 常见故障与对应修复

• DataNode 未启动或反复掉线
  1. 核对 core-site.xml/hdfs-site.xml 在所有节点一致；2) 检查 /etc/hosts 的主机名与 IP 映射一致；3) 清理并重新格式化（会丢数据）：删除 dfs 数据目录或 tmp/ → hdfs namenode -format → 启动；4) 确认 dfs.datanode.data.dir 目录存在且权限正确；5) 查看 DataNode 日志 中的端口、磁盘、权限报错并逐项修复。
• NameNode 无法启动或未见进程
  1. 检查 hadoop-env.sh 中 JAVA_HOME 与路径；2) 首次启动需 hdfs namenode -format；3) 核对 fs.defaultFS 与 dfs.namenode.rpc-address 配置；4) 查看 NameNode 日志 的元数据或端口冲突信息；5) 若使用系统服务管理，确认服务脚本与用户权限正确。
• 无法连接 NameNode（如 “Retrying connect to server … :9000”）
  1. 确认 NameNode 进程 已运行且监听 9000；2) 检查 /etc/hosts 与 SSH 解析、免密登录是否正常；3) 放通 9000 端口与防火墙/安全组；4) 用 netstat -tulpen | grep 9000 验证监听地址为 0.0.0.0 或正确的主机 IP，而非仅 127.0.0.1。
• 集群处于安全模式导致写入失败
  执行 hdfs dfsadmin -safemode leave；若频繁自动进入，检查 磁盘空间 与 副本数 是否满足（如 dfs.replication 与可用 DataNode 数）。
• 配置不一致或格式错误
  保证所有节点的 core-site.xml/hdfs-site.xml 一致；XML 声明与标签需正确闭合，避免多余空格/编码问题引发解析失败。
  以上对策对应了 DataNode 启动、NameNode 缺失、连接重试、安全模式与配置一致性等高频问题。

三 关键配置与网络检查清单

• 核心配置
  • core-site.xml：设置 fs.defaultFS=hdfs://:9000。
  • hdfs-site.xml：设置 dfs.replication、dfs.namenode.name.dir、dfs.datanode.data.dir；HA 场景补充 dfs.namenode.rpc-address 等。
• 主机解析与 SSH
  • /etc/hosts 统一 主机名 ↔ IP；各节点间配置 SSH 免密登录，便于脚本化启停。
• 环境变量
  • 正确设置 JAVA_HOME（如 /usr/lib/jvm/java-8-openjdk-amd64），并将 $HADOOP_HOME/bin:$HADOOP_HOME/sbin 加入 PATH。
• 防火墙与端口
  • 放通 9000（RPC）、50070（NameNode Web）、8088（YARN Web，若启用）等端口；云上需同步配置安全组规则。
• 目录与权限
  • 预先创建 namenode/datanode 数据目录 并赋予 Hadoop 运行用户 读写权限。
    以上清单覆盖了 Ubuntu 环境下最常见的配置、网络与权限要点。

四 常用命令速查

• 启停与进程
  • 启动/停止 HDFS：start-dfs.sh / stop-dfs.sh；查看进程：jps。
• 状态与健康检查
  • 集群报告：hdfs dfsadmin -report；文件系统检查：hdfs fsck /；安全模式：hdfs dfsadmin -safemode leave。
• 快速验证
  • 列出根目录：hdfs dfs -ls /；创建目录：hdfs dfs -mkdir -p /user/hadoop；上传测试：hdfs dfs -put ./hello.txt /user/hadoop/input。
• 日志与 Web
  • 实时看日志：tail -f $HADOOP_HOME/logs/hadoop--namenode-.log；访问 http://:50070 查看 HDFS Web UI。
    以上命令覆盖日常巡检、健康核查与快速验证所需。