Hadoop 任务调度在 Ubuntu 上如何操作

在Ubuntu上实现Hadoop任务调度，主要有以下几种方式：

一、使用YARN原生调度（推荐）

1. 安装配置Hadoop
   确保已安装Hadoop并正确配置core-site.xml、hdfs-site.xml、yarn-site.xml等文件，启动HDFS和YARN服务：

   start-dfs.sh && start-yarn.sh  # 启动集群
   

2. 提交任务
   使用yarn jar命令提交MapReduce作业，例如：

   yarn jar /path/to/your-job.jar com.example.YourJobClass input output
   

3. 配置调度器
   编辑yarn-site.xml选择调度器（如容量调度器）：

   <property>
       <name>yarn.resourcemanager.scheduler.class</name>
       <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
   </property>
   

   并在capacity-scheduler.xml中配置队列资源。

4. 监控任务
   通过YARN Web界面（默认http://<resourcemanager-host>:8088）查看任务状态。

二、使用Linux Cron定时调度

1. 安装Cron

   sudo apt-get install cron  # 安装定时任务工具
   

2. 创建定时任务
   编辑当前用户的Cron表：

   crontab -e
   

   添加任务（例如每天凌晨执行）：

   0 0 * * * /path/to/hadoop jar /path/to/your-job.jar input output >> /path/to/logfile.log 2>&1
   

三、使用Oozie工作流调度（适合复杂任务）

1. 安装Oozie

   sudo apt-get install oozie  # 安装Oozie
   

2. 配置Oozie
   编辑oozie-site.xml，设置数据库连接等参数。

3. 提交工作流
   通过Oozie命令行或Web界面提交包含多个任务的工作流定义文件（XML格式）。

四、使用Airflow高级调度（适合复杂依赖）

1. 安装Airflow

   pip install apache-airflow  # 安装Airflow
   

2. 定义DAG
   编写Python脚本定义任务依赖关系，例如：

   from airflow import DAG
   from airflow.operators.bash_operator import BashOperator
   
   dag = DAG('hadoop_job', schedule_interval='@daily')
   task = BashOperator(
       task_id='run_hadoop_job',
       bash_command='hadoop jar /path/to/your-job.jar input output',
       dag=dag
   )
   

3. 启动Airflow

   airflow webserver -p 8080  # 启动Web服务
   airflow scheduler  # 启动调度器