HDFS 在 Ubuntu 配置报错的快速排查与修复
一、先定位错误类型
- 查看进程是否起来：执行 jps，正常应看到 NameNode、DataNode、SecondaryNameNode（若启用 YARN，还会有 ResourceManager、NodeManager）。缺进程多半是配置或权限导致未启动成功。
- 查看日志：到 $HADOOP_HOME/logs/ 目录，优先看 hadoop--namenode-.log 与 hadoop--datanode-.log，从最新报错行向上追溯。
- 连通性自检：在报错提示的主机上执行 telnet <主机名或IP> 9000（HDFS RPC 端口），或 ss -lntp | grep 9000 检查端口监听；无法连通通常是主机名解析或端口未监听。
- 配置语法：核对 core-site.xml、hdfs-site.xml、mapred-site.xml 的标签闭合、缩进与属性名，避免多余空格或遗漏闭合标签导致解析失败。
二、常见报错与对应修复
- 以 root 启动被拒
报错示例：ERROR: Attempting to operate on hdfs namenode as root / but there is no HDFS_NAMENODE_USER defined.
修复：
1）在 $HADOOP_HOME/sbin/start-dfs.sh、stop-dfs.sh 顶部加入：
HDFS_DATANODE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
2）在 $HADOOP_HOME/sbin/start-yarn.sh、stop-yarn.sh 顶部加入：
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
3）或在 /etc/profile.d/my_env.sh 中导出同样变量并 source /etc/profile；所有节点需保持一致。
- 主机名含非法字符导致 URI 解析失败
报错示例：Does not contain a valid host:port authority: hdfs://ubuntu_12.04_01:9000
修复：将主机名中的 下划线“_” 与 点号“.” 去掉或替换为 连字符“-”，并同步修改 /etc/hosts 与所有节点的配置，重启后重试。
- 多次格式化导致 DataNode 无法注册
现象：dfs -ls 卡在重试连接 localhost/127.0.0.1:9000 或 jps 看不到 DataNode。
修复：清理各节点的 dfs.datanode.data.dir 目录（默认在 $HADOOP_HOME/data/dfs/dn 或配置路径），保留 VERSION 文件的 clusterID 一致；或先停集群，删除数据目录后再格式化一次 hdfs namenode -format。
- 端口未监听或主机名解析错误
现象：客户端反复打印 “Retrying connect to server …:9000”。
修复：确认 NameNode 已监听 9000（ss/ netstat），并在 /etc/hosts 为主机名配置正确的 IP；必要时用 IP 直连验证，排除 DNS/hosts 问题。
- 配置格式错误导致启动即失败
现象：启动脚本直接报错或 namenode 启动失败但日志不明显。
修复：严格核对 core-site.xml、hdfs-site.xml、mapred-site.xml 的 XML 头与闭合标签，避免多余空格、Tab 或遗漏闭合；建议用已验证的模板逐项比对。
三、最小可用配置与核对清单
- 核心配置示例（单机伪分布式，路径与端口按实际调整）：
core-site.xml
fs.defaultFS
hdfs://localhost:9000
hdfs-site.xml
dfs.replication
1
dfs.namenode.name.dir
/opt/hadoop/data/dfs/name
dfs.datanode.data.dir
/opt/hadoop/data/dfs/dn
核对清单：
- JAVA_HOME 已在 hadoop-env.sh 正确设置；
- SSH 免密 本机与节点间已配置（如 ssh localhost 无需密码）；
- 上述 目录已存在且权限正确（属运行用户）；
- 首次启动前执行一次 hdfs namenode -format；
- 启动后用 jps 与 dfs -ls / 验证。
四、仍未解决时的建议
- 贴出关键三件套：
1）具体报错行与完整堆栈（来自 logs/ 中对应进程的 .log 与 .out）；
2）相关配置片段（core-site.xml、hdfs-site.xml 中与报错相关的 property）；
3）执行命令与 jps 输出、以及 /etc/hosts 与 hostname 内容。
- 说明环境信息：Hadoop 版本、Ubuntu 版本、是否伪分布式/集群、是否以 root 运行。
- 先按“二”的顺序逐项排除：权限变量 → 主机名 → 端口连通 → 数据目录一致性 → 配置语法。