CentOS Hadoop作业提交流程是什么

在CentOS上提交Hadoop作业通常涉及使用YARN（Yet Another Resource Negotiator）资源管理器。以下是Hadoop作业提交流程的详细步骤：

1. 作业提交：

   • 客户端调用job.waitForCompletion方法，向整个集群提交MapReduce作业。
   • 客户端向ResourceManager（RM）申请一个作业id。
   • RM返回该job资源的提交路径和作业id。
   • 客户端将jar包、切片信息和配置文件提交到指定的资源提交路径。
   • 客户端提交完资源后，向RM申请运行MrAppMaster。

2. 作业初始化：

   • RM收到Client的请求后，将该job添加到容量调度器中。
   • 某个空闲的NodeManager（NM）领取到该Job。
   • NM创建Container，并产生MRAppmaster。
   • NM下载Client提交的资源到本地。

3. 任务分配：

   • MrAppMaster向RM申请运行多个MapTask任务资源。
   • RM将运行MapTask任务分配给另外两个NodeManager，这两个NodeManager分别领取任务并创建容器。

4. 任务运行：

   • MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序。
   • MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。
   • ReduceTask向MapTask获取相应分区的数据。

5. 进度和状态更新：

   • YARN中的任务将其进度和状态（包括counter）返回给应用管理器。
   • 客户端每秒向应用管理器请求进度更新，展示给用户。

6. 作业完成：

   • 客户端每5秒通过调用waitForCompletion来检查作业是否完成。
   • 作业完成之后，应用管理器和Container会清理工作状态。
   • 作业的信息会被作业历史服务器存储以备之后用户核查。

请注意，具体的提交命令可能会根据Hadoop版本和配置有所不同。例如，使用hadoop jar命令提交作业是常见的做法。