Debian Hadoop作业调度流程是怎样的

Debian上Hadoop作业调度流程

一 核心组件与调度器

• 在Hadoop 2.x/3.x环境中，作业调度由YARN负责，核心角色包括：
  • ResourceManager（RM）：全局资源管理与调度，包含Scheduler与ApplicationManager。
  • NodeManager（NM）：单节点资源管理，管理Container生命周期并向RM汇报。
  • ApplicationMaster（AM）：每个应用一个AM，向RM申请资源，与NM协作运行任务。
  • Container：封装CPU/内存等资源的计算单元。
• YARN支持多种调度策略：
  • FIFO Scheduler：先来先服务。
  • Capacity Scheduler：多队列容量分配，支持多租户。
  • Fair Scheduler：按应用公平分配资源。
• 在Debian上部署与配置流程与其他Linux发行版一致，通常通过编辑mapred-site.xml与yarn-site.xml启用YARN并选择调度器，随后启动HDFS与YARN服务。

二 作业提交流程

1. 准备与打包：在客户端完成MapReduce程序打包（JAR），准备好输入数据（通常位于HDFS）。
2. 提交作业：使用命令行如hadoop jar your-job.jar your.main.Class提交；客户端将作业JAR、配置与依赖上传至HDFS，并向ResourceManager发起提交请求。
3. 启动AM：RM为该应用分配首个Container并在其中启动ApplicationMaster。
4. 资源申请与任务调度：AM根据作业需求向RM申请Container，RM依据所选Scheduler（如FIFO/Capacity/Fair）进行资源分配。
5. 任务执行：AM与NodeManager协作在分配的Container中启动Map/Reduce任务，处理数据。
6. 进度与容错：AM持续上报状态，失败任务会被重新调度；作业完成后AM向RM注销并释放资源。

三 队列与调度策略配置要点

• 选择调度器：在yarn-site.xml中设置yarn.resourcemanager.scheduler.class为对应调度器实现（如Fair/Capacity）。
• Capacity Scheduler常用项：
  • yarn.scheduler.capacity.root.queues：定义队列层级。
  • yarn.scheduler.capacity.root..capacity：队列容量百分比。
  • yarn.scheduler.capacity.root..maximum-capacity：队列最大容量。
• Fair Scheduler常用项：
  • yarn.scheduler.fair.allocation.file：指定公平调度分配文件路径。
  • yarn.scheduler.fair.preemption：是否启用抢占以保障公平。
• 提交到指定队列：作业通过mapreduce.job.queuename指定目标队列，实现多租户与资源隔离。

四 监控与运维

• 资源与作业监控：通过ResourceManager Web UI查看集群与应用状态，默认访问地址为http://:8088/cluster/scheduler。
• 日志与排错：各任务日志可在NodeManager本地工作目录或通过YARN日志聚合查看，用于定位失败原因与性能瓶颈。

五 定时与跨作业编排

• Linux Cron：在Debian上使用crontab -e定时触发脚本执行hadoop jar命令，适合简单周期任务。
• 工作流调度器：
  • Apache Oozie：适合复杂依赖与定时调度的企业级场景。
  • Azkaban：上手简单，适合中小规模批量工作流。
• 数据工作流平台：
  • Apache Airflow：以DAG定义复杂依赖与调度策略，可与Hadoop生态集成。