Linux系统中Hadoop如何进行资源调度

Linux系统中Hadoop通过YARN（Yet Another Resource Negotiator）进行资源调度，核心组件及流程如下：

• 核心组件

  • ResourceManager（RM）：全局资源管理器，负责接收作业请求、调度资源并监控集群资源状态。
  • NodeManager（NM）：管理单个节点资源，执行RM分配的任务，汇报资源使用情况。
  • ApplicationMaster（AM）：为每个作业申请资源、协调任务执行，与NM交互管理容器。
  • Container：资源分配的基本单位，封装CPU、内存等资源，用于执行具体任务。

• 调度策略

  • FIFO（先进先出）：按作业提交顺序调度，简单但无法满足多用户需求，适用于低负载场景。
  • Capacity Scheduler：支持多队列，为队列分配固定资源，支持资源抢占，适合多用户共享集群。
  • Fair Scheduler：动态分配资源，确保每个作业获得公平份额，支持作业优先级和资源预留，适用于混合负载场景。

• 调度流程

  1. 用户提交作业至RM，RM根据调度策略选择合适的NM分配容器。
  2. NM启动容器并运行作业组件（如MapTask/ReduceTask），监控资源使用情况。
  3. 作业完成后，RM释放资源，支持动态调整队列资源或任务优先级。

• 配置与优化

  • 通过修改yarn-site.xml配置调度器类型（如yarn.resourcemanager.scheduler.class）。
  • 监控工具（如Ambari、Ganglia）可实时查看资源使用情况，辅助优化调度策略。

参考来源：