在 Debian 上做 Hadoop 作业调度，通常分为两个层面：一是 YARN 层面的资源调度器（决定作业如何共享集群资源），二是 作业编排与定时（决定何时、按何依赖运行哪些作业）。下面给出可直接落地的做法与选型建议。
一、YARN 资源调度器选型与配置
- 常见调度器与适用场景
- FIFO：单队列、先来先服务，简单但不适合多用户/多队列生产环境。
- Capacity Scheduler：多队列、容量保证与弹性共享，适合多租户与资源隔离。
- Fair Scheduler：多队列、按“缺额”公平分配，兼顾队列/用户/作业的公平性与弹性。
- 在 Debian 上的最小配置步骤（以 YARN 为主，示例为 Capacity Scheduler）
- 编辑 $HADOOP_HOME/etc/hadoop/mapred-site.xml，启用 MapReduce 使用 YARN：
- 设置 mapreduce.framework.name 为 yarn
- 编辑 $HADOOP_HOME/etc/hadoop/yarn-site.xml，启用调度器并指向配置文件：
- 设置 yarn.resourcemanager.scheduler.class 为
- Capacity Scheduler：org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
- Fair Scheduler：org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler
- 设置 yarn.scheduler.capacity.configuration.file（Capacity）或 yarn.scheduler.fair.allocation.file（Fair），分别指向 capacity-scheduler.xml 或 fair-scheduler.xml
- 放置并编辑调度器配置文件（示例目录 $HADOOP_HOME/etc/hadoop/）
- Capacity：capacity-scheduler.xml（定义 、容量、ACL、最大应用数等）
- Fair：fair-scheduler.xml（定义 **`、权重/最小份额、DRF 等）
- 分发配置到所有节点并重启服务：
- 在 ResourceManager 节点执行：stop-yarn.sh && start-yarn.sh
- 验证：访问 http://:8088/cluster/scheduler 查看调度器与队列状态
- 版本提示
- Hadoop 3.x 默认通常为 Capacity Scheduler；CDH 发行版常默认 Fair Scheduler。如未显式配置，请按上述步骤明确指定。
二、作业编排与定时调度方案
- Linux cron：适合简单周期任务
- 示例：每 5 分钟运行 ETL
- 执行：crontab -e
- 添加：*/5 * * * * /path/to/hadoop/bin/hadoop jar /path/to/your-job.jar your.job.MainClass
- Apache Oozie：Hadoop 生态的工作流与定时协调器，适合复杂依赖与大规模生产
- 典型流程：安装 Oozie → 配置 workflow.xml/coordinator.xml → 通过 CLI/Web 提交与监控
- Azkaban：轻量批量工作流调度器，上手快、适合中小规模
- 典型流程：部署 Azkaban Web/Executor → 编写 .job 文件定义依赖 → 上传并调度
- Apache Airflow：通用数据工作流编排，支持复杂依赖与丰富的运维能力
- 典型流程：pip install apache-airflow → 配置 airflow.cfg → 编写 DAG → 启动 Scheduler/Webserver
- Kubernetes CronJob（若运行在 K8s 上）：以容器方式周期触发 Hadoop 作业
- 示例：创建一个 CronJob，每 5 分钟执行一次命令或脚本（需保证容器内有 Hadoop 客户端与配置）。
三、快速对比与选型建议
| 方案 |
定位 |
优点 |
局限 |
典型场景 |
| cron |
系统级定时 |
简单、系统自带 |
无依赖管理、可观测弱 |
简单周期脚本/作业 |
| Capacity Scheduler |
资源调度 |
多队列、容量保证、弹性共享 |
配置相对繁琐 |
多租户、生产稳态 |
| Fair Scheduler |
资源调度 |
公平分配、缺额驱动、支持 DRF |
队列/权重调优需要经验 |
多用户弹性与公平 |
| Oozie |
工作流+定时 |
与 Hadoop 深度集成、功能全 |
部署与学习成本较高 |
复杂依赖、企业级 |
| Azkaban |
工作流 |
配置简单、界面友好 |
生态与扩展性一般 |
中小规模批处理 |
| Airflow |
通用编排 |
DAG、依赖强大、插件丰富 |
需维护调度器与元数据库 |
跨系统数据管道 |
| K8s CronJob |
容器定时 |
云原生、弹性伸缩 |
依赖 K8s 与容器镜像 |
容器化/混合部署 |
四、排错与运维要点
- 配置未生效：确认 yarn-site.xml 中的调度器类与配置文件路径正确，且已同步到所有节点，重启 ResourceManager/YARN 后再查看 http://:8088/cluster/scheduler。
- 队列/权限问题：检查调度器配置中的 队列容量、ACL、最大应用数 等；提交作业时通过 -Dmapreduce.job.queuename=your-queue 指定队列。
- 资源不足或抢占：结合作业的 内存/CPU 请求与队列配额，必要时开启/调整 抢占 与 弹性共享 策略（不同调度器支持度不同）。
- 定时任务失败：在 cron 任务中重定向日志（如 >> /var/log/hadoop-job.log 2>&1），便于排查类路径、权限、HDFS 访问等问题。