Hadoop在Linux上的任务调度如何操作

Hadoop在Linux上的任务调度操作指南

一 核心概念与调度器选择

• 在 Linux 上，Hadoop 的作业调度由 YARN 负责：由 ResourceManager 做全局资源管理与调度，NodeManager 管理单节点资源并启动 Container 运行任务，每个作业对应一个 ApplicationMaster 与 RM 协商资源并监控执行。调度策略可在 yarn-site.xml 中配置，常用有 FIFO、Capacity Scheduler（多租户配额）与 Fair Scheduler（队列间公平分配）。提交作业可用 hadoop jar 或 yarn jar，通过 ResourceManager Web UI（默认端口 8088） 查看状态与日志。

二 快速上手步骤

• 配置与启动
  • 在 $HADOOP_HOME/etc/hadoop 下编辑核心配置：
    • yarn-site.xml：设置 yarn.resourcemanager.hostname、yarn.nodemanager.aux-services=mapreduce_shuffle。
    • mapred-site.xml：设置 mapreduce.framework.name=yarn。
  • 启动集群：start-dfs.sh、start-yarn.sh。
• 提交与监控
  • 提交作业：hadoop jar your-job.jar com.example.Main input output 或 yarn jar your-job.jar com.example.Main input output。
  • 查看与监控：yarn application -list、yarn application -status <app_id>，以及 http://:8088。

三 配置调度器与队列

• 选择调度器（示例为 Capacity Scheduler）
  • 在 yarn-site.xml 指定：
    • yarn.resourcemanager.scheduler.class=org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
  • 在 $HADOOP_HOME/etc/hadoop/capacity-scheduler.xml 定义队列与容量（示例）：
    • 队列 root 下创建 default 与 etl 队列；
    • 设置 yarn.scheduler.capacity.root.queues=default,etl；
    • 设置容量 yarn.scheduler.capacity.root.default.capacity=60、yarn.scheduler.capacity.root.etl.capacity=40；
    • 设置最大容量 yarn.scheduler.capacity.root.default.maximum-capacity=80、yarn.scheduler.capacity.root.etl.maximum-capacity=100；
    • 可选：为用户/组设置 ACL 与抢占策略。
• 提交到指定队列：
  • 命令行：yarn jar your-job.jar ... -Dmapreduce.job.queuename=etl
  • 或在代码中通过 Configuration.set("mapreduce.job.queuename", "etl") 设置。

四 定时与依赖调度

• Linux 层定时（简单场景）
  • 使用 crontab -e 定时执行脚本，脚本内调用 hadoop jar 或 yarn jar；注意环境变量、日志重定向与幂等性（避免重复写入同一输出路径）。
• Hadoop 生态工作流调度（复杂依赖与周期）
  • Apache Oozie：用 Workflow 定义任务依赖，用 Coordinator 实现基于时间的周期调度（如每日/每小时）；适合 ETL、多作业编排。
  • Apache Airflow：以 DAG 编排 Hadoop 作业（通过 HiveOperator/SparkSubmitOperator/SSHOperator 等），具备丰富的依赖与监控能力。

五 常用命令与监控优化

• 常用命令
  • 查看应用：yarn application -list
  • 查看状态：yarn application -status <app_id>
  • 查看日志：yarn logs -applicationId <app_id>
  • 访问 ResourceManager UI：http://:8088 查看调度、队列与容器资源使用。
• 性能与稳定性优化
  • 资源与本地化：合理设置容器内存与 vcore（如 mapreduce.map.memory.mb、mapreduce.reduce.memory.mb），提升数据本地化比例。
  • Shuffle 与压缩：调大 shuffle 缓冲、启用中间数据压缩（如 Snappy/LZO），减少 I/O 与网络。
  • 作业策略：合理使用 Combiner、减少落盘与传输数据量，必要时开启 推测执行 应对慢节点。