Linux下Hadoop作业调度策略概述
Hadoop在Linux环境下的作业调度策略主要围绕资源分配逻辑、任务依赖关系及多用户需求设计，核心通过YARN（Yet Another Resource Negotiator）资源管理框架实现，涵盖调度器选择、队列管理、资源感知及动态调整等多个维度。
YARN是Hadoop 2.0及以上版本的核心资源管理组件，其内置的调度器决定了作业的资源分配逻辑，主要包括以下三种：
default、analytics等队列），每个队列可配置固定容量（如队列A占集群30%资源）。调度时优先选择“空闲资源最多”的队列，队列内采用带优先级的FIFO策略（高优先级作业先执行）。该策略适合多租户环境（如企业内不同部门共享集群），能保证各队列获得稳定的资源配额，但不支持资源抢占（高优先级作业无法抢占有运行任务的低优先级队列资源）。pool_A），每个池可设置最低资源保障（如pool_A至少获得20%资源）；weight=2）调整作业/池的资源比例（权值高的作业获得更多资源）。该策略适合混合负载场景（如同时有批处理、交互式查询），能平衡长作业与短作业的响应时间，但配置较复杂。针对有依赖关系的任务（如MapReduce中的Join操作、Spark的DAG任务），Hadoop支持基于DAG（有向无环图）的任务调度，分为两类：
Task1→Task2→Task3），调度器严格按照计划执行。适用于依赖关系稳定的场景（如每日固定报表生成）。Task1已完成）和集群资源变化（如某节点新增内存），实时调整后续任务的执行顺序（如原本Task2需等待Task1完成，若Task1提前结束，Task2可立即启动）。适用于依赖关系动态变化的场景（如实时数据处理）。通过为作业分配优先级（如HIGH、NORMAL、LOW），调度器优先执行高优先级作业（如生产环境中的紧急报表任务）。其核心价值是提升系统响应速度（高优先级任务先获得资源），但可能导致低优先级任务饥饿（长期无法获得资源）。部分调度器（如Capacity Scheduler）支持开启优先级，但不支持优先级抢占（高优先级作业无法中断正在运行的低优先级作业）。
Container，每个Container分配5GB内存）。能提高资源利用率（避免资源闲置），减少作业运行时间。NodeManager会向ResourceManager汇报节点资源信息，调度器据此选择最优节点运行任务，提升任务执行效率。除YARN内置调度器外，Hadoop还支持通过工作流调度工具实现复杂调度：
Map→Reduce→Hive）、任务依赖管理（如Reduce任务完成后才执行Hive查询）、定时任务（如每天凌晨2点执行数据同步）。适用于大型数据处理项目（如数据仓库ETL流程）。