Hadoop在Linux中的任务调度机制是什么

Hadoop在Linux中通过**YARN（Yet Another Resource Negotiator）**实现任务调度，核心组件及机制如下：

• 核心组件

  • ResourceManager（RM）：管理集群资源，包含调度器和应用程序管理器，负责资源分配和作业调度。
  • NodeManager（NM）：管理单个节点资源，执行RM分配的容器任务，监控节点状态。
  • 容器（Container）：封装CPU、内存等资源，是任务执行的基本单位。

• 调度策略

  • FIFO调度器：按作业提交顺序调度，先到先得，适用于简单场景。
  • 容量调度器（Capacity Scheduler）：支持多队列，按队列容量比例分配资源，适合多租户场景，可配置队列优先级和资源限制。
  • 公平调度器（Fair Scheduler）：动态分配资源，保障作业公平性，支持抢占机制，适用于资源需求波动大的场景。

• 调度流程

  1. 用户提交作业至ResourceManager。
  2. ResourceManager根据调度策略选择NodeManager分配容器。
  3. NodeManager启动容器执行任务，反馈进度至ResourceManager。

• 配置与优化
  通过修改yarn-site.xml、capacity-scheduler.xml等配置文件调整队列资源、调度策略等参数，例如设置队列容量、启用抢占等。

参考来源：