Debian Hadoop资源调度优化

Debian Hadoop 资源调度优化指南

一 调度器选型与队列设计

• 调度器选择
  • Capacity Scheduler：多队列、容量配额、支持层级队列，适合多团队/多业务线资源隔离与保障。
  • Fair Scheduler：按应用/队列公平分配资源，支持抢占与延迟调度，适合共享集群与波动负载。
  • FIFO Scheduler：简单先进先出，适合单一或优先级明确的场景，但易产生资源“饥饿”。
• 队列与策略
  • 按业务划分队列，设置容量/权重、最大资源、ACL 与提交权限，关键业务队列配置高优先级与必要的抢占。
  • 启用数据本地性优先策略，减少跨节点网络开销；对关键作业可配置资源预留或准入控制，保障启动与稳态性能。

二 YARN 与容器关键参数

• 节点可分配资源
  • 设置 NodeManager 上报的资源：yarn.nodemanager.resource.memory-mb（如节点内存的约80%）、yarn.nodemanager.resource.cpu-vcores（如物理核心的约80%）。
• 容器规格边界
  • 设置容器最小/最大规格：yarn.scheduler.minimum-allocation-mb、yarn.scheduler.maximum-allocation-mb；以及 yarn.scheduler.minimum-allocation-vcores，避免过小容器导致调度与启动开销过大、过大容器造成碎片。
• 虚拟内存检查
  • 在部分 JDK/YARN 版本组合下，可关闭虚拟内存检查：yarn.nodemanager.vmem-check-enabled=false，防止因虚拟内存超限被误杀（需充分压测并配合监控）。
• 资源与并行度联动
  • 结合作业特性设置容器内存，并合理规划 Map/Reduce 数量 与 Reduce 端并行度（mapreduce.job.reduces），避免数据倾斜与资源空转。

三 MapReduce 与数据布局优化

• 内存与 JVM
  • 为任务配置合理内存：mapreduce.map.memory.mb / mapreduce.reduce.memory.mb；在 hadoop-env.sh 中设置 HADOOP_HEAPSIZE / YARN_HEAPSIZE 与合适的 GC 策略，减少 Full GC 与 OOM。
• 并行度与 Shuffle
  • 依据数据量与集群规模设置 mapreduce.job.reduces（常见为节点数的1/2–1 倍区间起步），并结合 Combiner、合理的 Spill/合并 参数降低 Shuffle 压力。
• 压缩与存储格式
  • 选用低开销压缩 Snappy 或高压缩率 LZO：配置 io.compression.codecs；列式格式 Parquet/ORC 提升 I/O 效率（列裁剪、谓词下推）。
• 数据本地性与副本
  • 启用机架感知（如 dfs.network.script），优化副本放置，优先本地/同机架访问，降低网络成本。

四 操作系统与 Debian 基础调优

• 资源与内核
  • 增加文件描述符与连接数：在 /etc/security/limits.conf 设置如 nofile 800000；在 /etc/sysctl.conf 设置 net.core.somaxconn=32767 并 sysctl -p 生效。
  • 降低 Swap 影响：生产建议关闭或严格限制 Swap（如 swapoff -a 或调整 vm.swappiness），避免抖动与长尾。
  • 内存超额分配策略：如 vm.overcommit_memory=2、vm.overcommit_ratio=2（结合压测谨慎设置）。
• 磁盘 I/O
  • 多磁盘条带化：在 dfs.datanode.data.dir 指定多路径；按需调整 blockdev --setra 预读参数，提升顺序/随机访问表现。

五 监控 依赖管理与验证

• 监控与告警
  • 使用 ResourceManager/NodeManager Web UI 观察队列/容器/节点利用率；部署 Ganglia/Nagios 收集与告警关键指标（CPU、内存、磁盘 IO、作业排队时间）。
• 工作流与依赖
  • 复杂依赖与定时作业建议引入 Apache Oozie 或 Azkaban，统一编排、重试与依赖管理，减少人工介入与排队冲突。
• 压测与回归
  • 使用 TestDFSIO 等基准工具验证 HDFS 吞吐；作业侧以数据本地性比例、队列等待时间、容器利用率、Shuffle 耗时为关键指标，小步变更、持续回归。