Hadoop在Linux中的容错处理机制
Hadoop在Linux环境下通过数据冗余、状态监控、自动恢复、高可用架构等多层机制实现容错，确保集群在节点故障、网络异常或数据损坏时仍能稳定运行。
1. 数据冗余：HDFS副本机制
HDFS通过数据块复制实现数据冗余，默认将每个数据块（默认128MB或256MB）复制3份，存储在不同的DataNode上。当某个DataNode发生故障（如硬盘损坏、宕机），NameNode会自动从其他副本节点恢复数据，保持集群中副本数量符合配置要求。用户可通过修改hdfs-site.xml中的dfs.replication参数自定义副本数量（如<value>3</value>）。
2. 心跳检测与故障识别
Hadoop组件间通过心跳信号实现状态监控：
- DataNode心跳：每个DataNode定期（默认3秒）向NameNode发送心跳，汇报自身健康状态及存储的数据块信息。
- 故障判定：若NameNode在指定时间（默认10分钟）内未收到某DataNode的心跳，会将其标记为“失效节点”，并触发数据恢复流程。
- 任务重试：YARN的ResourceManager会监控MapReduce任务的执行状态，若任务在某NodeManager上失败，会自动重新分配给其他健康节点，最多重试次数可通过
yarn-site.xml的yarn.resourcemanager.am.max-attempts参数调整。
3. NameNode高可用性（HA）配置
为避免NameNode单点故障，Hadoop支持Active/Standby主备模式：
- 角色分工：Active NameNode处理客户端所有请求（如文件读写、元数据操作），Standby NameNode作为热备份，实时同步Active节点的元数据（通过JournalNode集群实现编辑日志同步）。
- 故障切换：当Active NameNode宕机时，Standby NameNode通过ZooKeeper集群检测到故障，快速切换为Active状态，继续提供服务。
- 辅助NameNode：Secondary NameNode周期性（默认每小时）从Active NameNode获取文件系统快照和编辑日志，合并生成新的检查点（Checkpoint），用于NameNode恢复时缩短启动时间。
4. 数据完整性校验
HDFS通过**校验和（Checksum）**机制确保数据完整性：
- 写入校验：数据写入时，HDFS会为每个数据块生成校验和（存储在元数据中）。
- 读取校验：数据读取时，HDFS会重新计算校验和并与存储的校验和对比。若不一致，说明数据损坏，会自动从其他副本节点获取正确数据。
5. 自动故障恢复流程
Hadoop具备自动化故障恢复能力，覆盖以下场景：
- DataNode故障：NameNode检测到DataNode失效后，会将该节点上的数据块副本标记为“缺失”，并指令其他健康DataNode重新复制这些副本，直到恢复默认副本数量。
- 任务失败：YARN的ApplicationMaster会监控Container的执行状态，若任务因节点故障、资源不足等原因失败，会自动重新提交任务到其他节点，最多重试次数可通过
mapreduce.map.maxattempts（Map任务）或mapreduce.reduce.maxattempts（Reduce任务）参数调整。
6. 机架感知与数据放置策略
HDFS采用**机架感知（Rack Awareness）**策略优化数据放置，提升容错性和读取效率：
- 副本分布规则：默认情况下，数据块的第一个副本放在客户端所在节点（若客户端在集群内），第二个副本放在不同机架的节点上，第三个副本放在同一机架的其他节点上。这种策略可避免因单个机架故障导致数据丢失。
7. 辅助容错工具与配置
- 日志聚合：启用YARN的日志聚合功能（
yarn.log-aggregation-enable=true），将所有Container的标准输出、错误日志集中存储在HDFS中，方便故障排查（通过yarn logs -applicationId <appId>命令查看）。
- 监控与告警：使用Prometheus+Granafa、ZooKeeper等工具监控集群状态（如NameNode内存使用、DataNode心跳、任务执行进度），设置告警阈值，及时发现并处理潜在故障。