在CentOS上部署HDFS的最佳实践

CentOS 上部署 HDFS 的最佳实践

一 环境与规划

• 操作系统与版本：选择稳定的 CentOS 7/8，内核与基础工具保持更新；Hadoop 与 JDK 8 兼容性最佳，建议使用 OpenJDK 8。
• 硬件与网络：管理节点（NameNode/JournalNode/ZK）优先保障 CPU/内存，数据节点（DataNode）侧重 磁盘数量与带宽；为所有节点配置 静态 IP 与可解析的 主机名，并保证节点间低时延、稳定互联。
• 角色规划：至少 3 台 DataNode 以满足默认 副本数 3；生产环境建议部署 3 台 JournalNode 与 3 台 ZooKeeper 节点以保障 HA 的可用性与一致性。
• 目录与权限：为 NameNode/DataNode/JournalNode 使用独立且冗余的本地目录（多盘挂载），目录属主与权限预先设置，避免运行时因权限导致异常。
• 安全基线：启用 防火墙 并仅放行必要端口；统一 NTP 时间同步，避免安全模式与元数据异常。

二 安装与基础配置

• Java 与 Hadoop：安装 OpenJDK 8 并配置 JAVA_HOME；下载解压 Hadoop 至 /opt/hadoop（或自定义目录），设置 HADOOP_HOME/PATH/HADOOP_CONF_DIR 等环境变量。
• SSH 免密：在集群内配置 SSH 免密登录（生成密钥、分发公钥），便于启动/运维脚本在各节点间无交互执行。
• 核心配置示例：
  • core-site.xml：设置默认文件系统与 RPC 地址，例如
    • fs.defaultFShdfs://namenode:9000
  • hdfs-site.xml：设置副本与数据目录，例如
    • dfs.replication3
    • dfs.namenode.name.dir/data/hdfs/namenode
    • dfs.datanode.data.dir/data/hdfs/datanode
• 启动与验证：在 NameNode 执行 hdfs namenode -format 初始化元数据；使用 start-dfs.sh 启动集群；通过 jps 检查进程，访问 http://namenode:50070 查看 NameNode Web UI。

三 高可用 HA 部署

• 规划与组件：启用 HDFS HA 需 ZooKeeper 与 JournalNode；典型拓扑为 2 个 NameNode（nn1/nn2）+ 3 个 JournalNode + 3 个 ZooKeeper。
• 关键配置（hdfs-site.xml 片段）：
  • 命名服务与 NameNode 列表：
    • dfs.nameservicesmycluster
    • dfs.ha.namenodes.myclusternn1,nn2
  • RPC 与 HTTP 地址：
    • dfs.namenode.rpc-address.mycluster.nn1nn1:8020
    • dfs.namenode.rpc-address.mycluster.nn2nn2:8020
    • dfs.namenode.http-address.mycluster.nn1nn1:50070
    • dfs.namenode.http-address.mycluster.nn2nn2:50070
  • 共享编辑日志（QJM）：
    • dfs.namenode.shared.edits.dirqjournal://jn1:8485;jn2:8485;jn3:8485/mycluster
  • 故障转移代理与隔离：
    • dfs.client.failover.proxy.provider.myclusterorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
    • dfs.ha.fencing.methodssshfence
    • dfs.ha.fencing.ssh.private-key-files/home/hadoop/.ssh/id_rsa
  • 启用 ZKFC 自动故障转移：
    • dfs.ha.automatic-failover.enabledtrue
• 初始化与启动顺序：
  1. 启动所有 JournalNode；
  2. 在 nn1 执行 hdfs namenode -format；
  3. 在 nn2 执行 hdfs namenode -bootstrapStandby 同步元数据；
  4. 在 nn1/nn2 启动 ZKFC（hdfs --daemon start zkfc）；
  5. 启动 DataNode（hdfs --daemon start datanode）；
  6. 使用 hdfs dfsadmin -report 与 Web UI 验证状态与健康度。

四 性能与安全优化

• 存储与副本：默认 副本数 3 在多数场景兼顾可靠性与利用率；根据 数据热度/成本 使用 存储策略（HOT/WARM/COLD）与多介质分层。
• 块大小与文件布局：结合作业类型与对象大小选择 dfs.blocksize（如 128MB/256MB），避免产生大量 小文件 导致 NameNode 内存压力 升高。
• 本地性与网络：调度与数据布局优先保障 数据本地性，减少跨节点网络传输；保障节点间 充足带宽 与稳定链路。
• 系统与安全：
  • 内核与资源：调优 文件句柄数/进程数/TCP 等内核参数；为 NameNode/DataNode 分配合理 堆内存；
  • 安全：启用 Kerberos 认证、RBAC/ACL 访问控制与 传输/存储加密；
  • 防火墙：仅放行 HDFS RPC（8020/9000）、HTTP（50070/50090）、JournalNode（8485）、ZooKeeper（2181） 等必要端口。

五 运维与故障排查

• 常用检查：
  • 进程与连通：使用 jps 查看 NameNode/DataNode/JournalNode/ZKFC；
  • 集群健康：执行 hdfs dfsadmin -report 查看 DataNode 容量与状态；
  • 安全模式：若处于安全模式，使用 hdfs dfsadmin -safemode leave 退出（仅在确认安全时执行）。
• 日志与监控：集中采集 NameNode/DataNode 日志，监控 读写吞吐、延迟、块报告、复制队列 等关键指标；必要时结合 Prometheus/Ganglia/ELK 搭建可视化与告警。
• 变更与回滚：配置与版本变更遵循 灰度/回滚 流程；重大变更前做好 元数据与配置备份。