Debian上Hadoop资源调度方法

Debian上Hadoop资源调度方法

一 核心概念与调度器选型

• 在 YARN 中，资源管理由 ResourceManager、NodeManager 与每个应用的 ApplicationMaster 协同完成：ResourceManager 负责全局资源分配与调度，NodeManager 负责容器生命周期与资源隔离，ApplicationMaster 为应用申请资源并监控任务执行。调度器的职责是在队列或资源池层面决定“谁在何时获得多少资源”。常见调度器包括：
  • FIFO Scheduler：按提交顺序执行，简单但不支持多租户与公平分配。
  • Capacity Scheduler：以队列为单位划分容量，支持多租户与层级队列，适合生产多业务场景。
  • Fair Scheduler：按应用需求动态分配，尽量让所有应用公平获得资源，适合多用户共享。
    在 Debian 上的配置与在其他 Linux 发行版一致，主要通过 Hadoop 的配置文件完成。选择建议：多队列与强隔离优先 Capacity Scheduler；强调公平与弹性优先 Fair Scheduler；单用户或简单作业可用 FIFO。

二 配置步骤与常用参数

• 基本步骤
  1. 安装 JDK 与 Hadoop，完成 SSH 免密 与 主机名解析；
  2. 配置核心文件：
     • yarn-site.xml：启用 YARN、配置 ResourceManager/NodeManager 关键参数；
     • 调度器专属配置：Capacity 使用 capacity-scheduler.xml，Fair 使用 fair-scheduler.xml；
     • 如需队列放置规则（Fair/Capacity），在对应调度器配置中设置；
  3. 启动服务：在 NameNode/ResourceManager 节点执行 start-dfs.sh、start-yarn.sh；
  4. 提交作业：hadoop jar … 或使用相应客户端；
  5. 监控：通过 ResourceManager Web UI（http://:8088/cluster/scheduler） 查看队列与调度情况。
• 关键参数示例（按常见 4GB 内存节点举例，需按实际调整）
  • 选择调度器（yarn-site.xml）：
    • Capacity：yarn.resourcemanager.scheduler.class=org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
    • Fair：yarn.resourcemanager.scheduler.class=org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler
  • 节点可分配内存（yarn-site.xml）：yarn.nodemanager.resource.memory-mb=4096
  • 容器内存与虚拟核（mapred-site.xml 或 yarn-site.xml 的 MapReduce 相关项）：mapreduce.map.memory.mb、mapreduce.reduce.memory.mb、mapreduce.map.cpu.vcores、mapreduce.reduce.cpu.vcores
  • 容量调度器并发控制（capacity-scheduler.xml）：yarn.scheduler.capacity.maximum-am-resource-percent=0.1（控制可同时运行的 ApplicationMaster 资源占比，影响并发应用数）
  • 容量调度器队列层级（capacity-scheduler.xml）：yarn.scheduler.capacity.root.queues=default,spark,flink
    以上步骤与参数位置、示例值可直接用于 Debian 环境，注意与硬件规格与业务并发度匹配。

三 多租户与队列实践

• 队列与放置规则
  • 使用 层级队列 划分业务线/团队资源，结合 权重/容量 与 ACL 实现配额与权限控制；
  • 在 Fair Scheduler 中，通过 placement rules 定义“未显式指定队列时”的放置策略；若希望作业在运行时通过参数指定队列，需开启“specified at runtime”规则，否则作业可能落入默认队列。
• 容量调度器的并发与 AM 资源
  • 通过 yarn.scheduler.capacity.maximum-am-resource-percent 调整集群中可用于 ApplicationMaster 的资源比例，从而控制可并行运行的应用数量；并发不足时适当调大，但需避免 AM 占用过多资源影响任务容器。
• 资源预留与弹性
  • 对关键业务可配置 资源预留 或设置队列 最小保障容量，避免高峰被抢占；结合 动态资源调整 与 数据本地性优化 提升吞吐与稳定性。

四 工作流与定时调度

• 工作流编排
  • Apache Oozie：Hadoop 生态常用的工作流与协调系统，适合复杂依赖与定时批量作业；
  • Azkaban：轻量易用，适合中小规模批量任务编排。
• 系统与平台级调度
  • Linux cron：在 Debian 上直接定时执行脚本或 hadoop jar 命令，适合简单 ETL 定时任务；
  • Apache Airflow：以 DAG 定义复杂依赖与调度策略，可与 Hadoop 作业集成；
  • Kubernetes CronJob：若 Hadoop 运行在 K8s 上，可用 CronJob 定时触发作业容器。
    选择建议：强依赖与 Hadoop 原生生态优先 Oozie；轻量批处理选 Azkaban；跨系统复杂调度选 Airflow；容器化场景选 Kubernetes CronJob。

五 监控与持续优化

• 监控与排障
  • 通过 ResourceManager UI（http://:8088/cluster/scheduler） 观察队列使用率、应用排队与分配情况；
  • 结合 NodeManager 与作业日志定位容器 OOM、抢占与数据本地性问题。
• 优化要点
  • 合理设置 容器内存/CPU 与 AM 资源占比，避免“AM 占满导致并发上不去”；
  • 提升 数据本地性（优先本地磁盘/同机架），减少网络开销；
  • 持续 监控与反馈调优：按作业特征调整队列权重、容器大小与并发度，结合业务峰谷做弹性配置。