CentOS上HDFS容错机制概览
在CentOS环境中，HDFS通过数据冗余、故障检测与自动恢复、数据完整性校验以及NameNode 高可用（HA）等机制共同实现容错。核心思路是：用多副本容忍节点/磁盘故障，用心跳与块报告快速发现故障并用副本重建恢复一致性，用校验和保证数据正确，用HA避免元数据服务单点。默认块大小通常为128MB或256MB，副本数默认为3。
核心容错机制
- 数据块复制与放置策略：每个块默认3副本；经典三副本放置为：第1副本优先放在客户端所在DataNode（若客户端在集群内），第2副本放在不同机架，第3副本放在与第2副本同机架不同节点，以在机架/节点失效时仍能提供服务。
- 心跳与块报告：DataNode定期向NameNode发送心跳与块报告；超时未达即判定节点失效，触发副本重建。
- 副本恢复与流控：NameNode将副本不足的块放入UnderReplicatedBlocks并按优先级调度复制；通过线程轮询间隔（如dfs.namenode.replication.interval，默认约3s）、每次触发系数（如dfs.namenode.replication.work.multiplier.per.iteration，默认2）、单DataNode最大复制流数（如dfs.namenode.replication.max-streams，默认2）等参数限流，避免影响正常业务。
- 数据完整性校验：写入时计算校验和（checksum），读取时校验；若块损坏，客户端自动切换到其他健康副本读取，并触发修复流程。
- 安全模式：NameNode启动或重大变更后进入Safe Mode，等待足够DataNode上报；稳定后退出，恢复正常复制/删除操作。
NameNode高可用 HA
- 架构：部署Active/Standby 双 NameNode；启用ZooKeeper进行故障检测与自动切换（ZKFC）。
- 共享编辑日志：使用JournalNode集群或QJM共享EditLog，确保Active与Standby元数据强一致，故障切换后快速接管。
- 客户端透明：通过dfs.nameservices等逻辑名称访问，客户端无需感知Active/Standby切换。
运维与验证要点
- 副本健康与修复：使用命令检查与修复块健康，例如：hdfs fsck / -files -blocks -locations；发现缺失/损坏会自动重建或修复。
- 机架感知：正确配置机架拓扑，使三副本跨机架分布，降低机架级故障风险。
- 关键配置建议：保持合理的复制因子（如dfs.replication=3）；按业务调优复制/删除流控参数（如dfs.namenode.replication.interval、dfs.namenode.replication.max-streams）以平衡恢复速度与业务稳定性。