Hadoop如何进行任务调度

Hadoop通过YARN进行任务调度，核心组件包括ResourceManager、NodeManager和容器（Container），调度流程及策略如下：

1. 任务提交：用户通过客户端提交作业到ResourceManager，ResourceManager构建ApplicationMaster进程。
2. 资源分配：ResourceManager根据调度策略为ApplicationMaster分配资源（如内存、CPU），选择合适的NodeManager节点。
3. 任务执行：NodeManager在容器中启动任务（如Map/Reduce任务），并监控进度，向ResourceManager汇报状态。
4. 调度策略：
   • FIFO（先进先出）：按作业提交顺序调度，简单但可能导致长任务阻塞。
   • Capacity Scheduler（容量调度）：支持多队列，每个队列分配固定资源，队内按FIFO调度，可限制用户资源占用。
   • Fair Scheduler（公平调度）：动态分配资源，确保所有作业公平共享集群资源，支持作业抢占。
5. 任务监控与容错：ResourceManager和NodeManager监控任务状态，失败时重新调度任务。

调度器类型可通过配置文件yarn-site.xml的yarn.resourcemanager.scheduler.class参数设置。