配置Hadoop高可用性（HA）集群
Hadoop的高可用性是提升容错能力的核心手段，通过主备节点切换和共享元数据管理，确保NameNode、ResourceManager等服务故障时快速恢复。
core-site.xml设置fs.defaultFS指向HA命名空间（如hdfs://cluster1），并在hdfs-site.xml中配置dfs.nameservices、dfs.ha.namenodes.cluster1（指定主备NameNode名称）、dfs.namenode.rpc-address.cluster1.namenode1（主NameNode RPC地址）、dfs.namenode.rpc-address.cluster1.namenode2（备NameNode RPC地址）。启用自动故障转移dfs.ha.automatic-failover.enabled=true，并通过ZooKeeper集群（配置ha.zookeeper.quorum）实现主备切换。yarn-site.xml中启用HA（yarn.resourcemanager.ha.enabled=true），设置yarn.resourcemanager.cluster-id（集群ID）、yarn.resourcemanager.ha.rm-ids（主备ResourceManager名称）、yarn.resourcemanager.zk-address（ZooKeeper地址），确保ResourceManager故障时备用节点自动接管。优化数据冗余与自动恢复
数据冗余是Hadoop容错的基础，通过多副本存储和自动故障恢复机制，保障数据可靠性。
hdfs-site.xml中的dfs.replication参数，默认值为3（分布在不同DataNode），可根据集群规模调整为2（小集群）或4（高容错需求），确保数据块丢失时能从其他副本恢复。利用ZooKeeper实现协调与故障转移
ZooKeeper是Hadoop HA的核心协调组件，通过它实现NameNode和ResourceManager的状态监控与自动故障转移。
zoo.cfg中的server.x参数（如server1=zoo1:2888:3888），确保集群多数派（Quorum）正常运行。hdfs zkfc -formatZK格式化ZooKeeper），ZKFC会监控NameNode的健康状态（通过心跳），当Active NameNode故障时，ZKFC会触发故障转移，让Standby NameNode接管服务。加强节点健康监测与隔离
通过心跳检测和隔离机制，快速识别故障节点并防止脑裂（Split-Brain）问题。
dfs.namenode.heartbeat.recheck-interval（默认5分钟）未收到DataNode心跳，会将其标记为失效并从集群中剔除。dfs.ha.fencing.methods（如shell(/path/to/fence_script.sh)），在故障转移时执行隔离操作（如杀死故障节点的进程、断开网络），防止备节点与故障节点同时成为Active，避免数据不一致。优化操作系统参数
调整Linux内核参数，提升Hadoop集群的稳定性和性能，间接增强容错能力。
/etc/security/limits.conf，增加nofile（文件描述符）和nproc（进程数）的限制（如* soft nofile 65536、* hard nofile 65536），避免因资源耗尽导致服务崩溃。/etc/sysctl.conf，优化网络性能（如net.ipv4.tcp_tw_reuse=1复用TIME_WAIT连接、net.core.somaxconn=65535增加最大连接队列长度），减少网络延迟和连接失败的概率。实施监控与告警系统
实时监控集群状态，及时发现并处理故障，避免故障扩大影响容错能力。
http://namenode:50070）、ResourceManager Web UI（http://resourcemanager:8088）查看集群状态，或部署第三方工具（如Prometheus+Granafa、Ganglia）实现更全面的监控（包括CPU、内存、磁盘、网络等指标）。定期数据备份与恢复测试
数据备份是容错的最后一道防线，定期备份HDFS数据并测试恢复流程，确保数据可恢复。
distcp工具将HDFS数据备份到异地集群（如hadoop distcp hdfs://source-cluster:8020/path hdfs://backup-cluster:8020/backup_path），或使用快照功能（hdfs dfsadmin -allowSnapshot /path）创建数据快照。