Linux上Hadoop如何实现负载均衡

Linux上Hadoop负载均衡实现指南

一、总体思路

• 在Hadoop体系中，负载均衡通常分为两层：
  1. HDFS层：通过HDFS Balancer均衡各DataNode的存储使用率；
  2. 计算层：通过YARN的Capacity Scheduler或Fair Scheduler进行队列与资源的公平/容量分配，提升资源利用率与作业稳定性。必要时再配合Linux/网络层的负载均衡手段（如客户端侧的HAProxy或VIP）实现高可用与请求分发。

二、HDFS数据均衡

• 前置检查与准备
  • 确认集群不在安全模式：hdfs dfsadmin -safemode get；如需退出：hdfs dfsadmin -safemode leave。
  • 查看各节点容量与使用情况：hdfs dfsadmin -report，用于评估是否需要均衡。
• 运行Balancer
  • 基本用法：hdfs balancer -threshold 10（阈值范围0–100%，默认10%，表示各DataNode使用率与集群均值差异不超过该百分比）。
  • 常用参数：
    • -policy datanode|blockpool（按节点或块池均衡）
    • -exclude/-include <host>（排除/包含指定DataNode）
    • -idleiterations <N>（最大空闲循环次数）
• 控制带宽与并发
  • 动态设置带宽（避免影响业务）：hdfs dfsadmin -setBalancerBandwidth 10485760（单位字节/秒，示例为10MB/s）。
  • 也可在配置中预设：dfs.datanode.balance.bandwidthPerSec、dfs.balancer.bandwidthPerSec、dfs.datanode.balance.max-concurrent-moves、dfs.datanode.balance.threadpool.size。
• 运行时机与注意事项
  • 建议在业务低峰执行；Balancer会移动大量块，可能带来网络与磁盘IO压力。
  • 均衡过程不应改变副本数与机架感知的块布局；确保NameNode健康与ZK/HA状态稳定。

三、YARN计算资源均衡

• 调度器选择与配置
  • Capacity Scheduler（容量调度）：在capacity-scheduler.xml中配置队列与容量，例如：
    • yarn.scheduler.capacity.root.queues=queue1,queue2
    • yarn.scheduler.capacity.root.queue1.capacity=50
    • yarn.scheduler.capacity.root.queue2.capacity=50
  • Fair Scheduler（公平调度）：在yarn-site.xml指定调度器，并在fair-scheduler.xml定义队列与权重：
    • yarn.resourcemanager.scheduler.class=org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler
    • yarn.scheduler.fair.allocation.file=/etc/hadoop/conf/fair-scheduler.xml
• 容器与节点资源配置
  • 在yarn-site.xml中设置节点可分配资源，例如：
    • yarn.nodemanager.resource.memory-mb=8192
    • yarn.nodemanager.resource.cpu-vcores=4
  • 合理设置最小/最大分配（示例）：yarn.scheduler.minimum-allocation-mb=128、yarn.scheduler.maximum-allocation-mb=2048，避免资源碎片与过度申请。
• 常见不均衡治理
  • 针对容器不均衡/资源分步不均，结合队列权重、容器规格与数据倾斜治理（如对倾斜Key进行重分区）综合优化。

四、Linux与网络层补充

• 客户端侧高可用与分发
  • 可在HAProxy或VIP前置于NameNode RPC(8020)与HTTP(50070/9870)，客户端通过负载均衡器访问，提升可用性与请求分发能力。
  • 示例思路：
    • HAProxy监听8020，后端为多个NameNode；
    • 客户端core-site.xml设置：fs.defaultFS=hdfs://<LB_HOST>:8020。
• 适用场景与注意
  • 该层主要解决NameNode HA与入口流量分发，并不替代HDFS块级均衡或YARN调度；配置健康检查与超时，避免故障节点影响客户端。

五、监控与持续优化

• 集群健康与容量
  • 持续关注：hdfs dfsadmin -report、NameNode/ResourceManager Web UI、各节点磁盘/网络利用率。
• 可视化与告警
  • 结合Ganglia、Prometheus、Grafana、Ambari/Cloudera Manager建立面板与阈值告警，观察均衡进度与作业性能变化。
• 例行维护
  • 在业务低峰定期运行Balancer；根据监控反馈调整阈值、带宽、并发、队列权重/资源上下限，并针对数据倾斜进行预处理与重分区。