Ubuntu Hadoop故障如何预防

Ubuntu Hadoop故障预防清单

一 基础环境与版本基线

• 明确并记录 Hadoop 与 Java 的兼容矩阵，避免版本不匹配导致启动或运行期异常；统一集群节点的 JAVA_HOME 与 HADOOP_HOME，并在 ~/.bashrc 或 /etc/profile 中导出，变更后执行 source 使其生效。
• 统一操作系统与依赖的基线：相同 Ubuntu 版本、相同 JDK 版本、相同 Hadoop 发行包与配置；使用 Ansible/Terraform 等 IaC 工具固化环境，减少“人肉配置漂移”。
• 建议以 非 root 专用用户（如 hadoop）运行集群，提前建立用户与目录，避免后续权限与安全问题。
• 预防要点：版本不兼容、环境变量缺失、以 root 直接操作是高频根因，基线化与自动化能显著降低风险。

二 配置与初始化规范

• 配置管理：集中管理 core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、workers/hosts，变更前做 diff 与备份；避免多余空格、BOM 与缩进错误导致解析失败。
• 地址与端口：在 core-site.xml 正确设置 fs.defaultFS（如 hdfs://:9000），并确保所有节点 /etc/hosts 或 DNS 可解析主机名；避免 localhost 与 127.0.0.1 混用引发节点互信异常。
• SSH 免密：确保 NameNode 能免密登录所有 DataNode（含自身），定期校验 ssh <host> date 的连通性与一致性。
• 初始化纪律：仅在集群 全停 状态下执行 hdfs namenode -format；若曾格式化过，需清理各节点的 dfs 数据目录（由 hadoop.tmp.dir 指定） 后再初始化，避免 NameNode 与 DataNode clusterID 不一致 导致节点“消失”。
• 预防要点：配置错误、SSH 不通、重复初始化是集群“起不来/节点缺失”的主要源头，按流程卡点检查可大幅降低故障率。

三 网络与端口可达性

• 防火墙与安全组：开放集群通信所需端口，例如 HDFS：9000、50010、50020、50070/9870、50075、50090，YARN/MapReduce：8088、19888；变更后使用 ufw status 或等效工具复核。
• 主机名与解析：统一使用 FQDN 或稳定的主机名，并在 /etc/hosts 中固化映射，避免 DHCP 或网络切换导致 主机名漂移。
• 进程与连通性自检：启动后用 jps 校验进程，使用 telnet/nc 测试 端口连通性，用 hdfs dfsadmin -report 检查 DataNode 注册 情况。
• 预防要点：端口被拦、主机名解析不一致、进程未就绪是“看得见不可用”的常见原因，上线前做连通性与进程清单自检。

四 权限与目录治理

• 运行用户与目录属主：以 hadoop 用户运行服务，确保 HDFS 数据目录、日志目录、临时目录 的属主/权限正确；避免以 root 直接操作 HDFS 引发 AccessControlException。
• HDFS 用户目录：首次使用前为当前用户创建 /user/，否则常见 “No such file or directory”。
• 安全审计：定期审计关键目录（如 /tmp/hadoop-、/var/log/hadoop-**）的权限与属主，防止因清理或误操作引入权限错乱。
• 预防要点：权限错配与目录缺失会在作业提交与写入阶段集中暴露，提前建立目录与属主基线可避免批量报错。

五 监控日志与变更管理

• 日志集中与告警：统一收集 $HADOOP_HOME/logs 与系统日志（如 journald），对 ERROR/OutOfMemoryError/DataNode 未注册 等设置告警；关键告警需有 回滚预案。
• 版本与配置留痕：所有配置变更走 CR 流程，保留 变更单、回滚包、影响面评估；生产变更尽量在 维护窗口 执行。
• 例行巡检：每周巡检 磁盘使用率、NameNode/DataNode 堆内存、网络丢包/延迟、作业失败率；对异常趋势提前扩容或限流。
• 快速定位手册：固化“先看日志 → 再看进程 → 再测端口 → 再核配置”的排障路径，缩短 MTTR。
• 预防要点：缺乏日志与告警、无变更管控是“小错变大故障”的放大器，体系化的可观测性与变更管理是稳态运行的底座。