大数据工作流Oozie怎么理解

这篇文章的内容主要围绕大数据工作流Oozie怎么理解进行讲述，文章内容清晰易懂，条理清晰，非常适合新手学习，值得大家去阅读。感兴趣的朋友可以跟随小编一起阅读吧。希望大家通过这篇文章有所收获！

   因为工作需要用到oozie，但是网上的资料越看越迷茫，经过很大的努力，终于折腾清楚了，这里，做一个总结，帮助后来者更好地进行入门，当然，粗鄙之言，难免疏漏，欢迎交流指正。

提供Hadoop任务的调度和管理，不仅可以管理MapReduce任务，还可以管理pig、hive、sqoop、spark等任务，Oozie就是一个基于hadoop的工作流引擎。

两个主要组件：

工作流定义组件:一系列Action个的列表（Action就是一个任务节点，eg：MapReduce任务、pig任务、hive任务等）

调度器组件：可调度的WorkFlow（workflow就是定义一个DAG的任务图，而调度器可以决定在某个时间或符合条件执行DAG（有向无环图 Direct Acyclic Graph）任务图）

Oozie工作流定义中的两种节点：

控制流节点：用于定义逻辑判断，eg：start、end、控制流程执行路径

动作节点：用户执行任务节点：hadoop任务、Oozie子流程

定义一个完整Oozie工作流需编写3个文件

1、workflow.xml:（必需）定义工作流任务（需放到HDFS上）

2、config-default：（可选） 包括所有工作流共享的属性值

3、job.properties： （必需）针对每个工作流的属性值

感谢你的阅读，相信你对“大数据工作流Oozie怎么理解”这一问题有一定的了解，快去动手实践吧，如果想了解更多相关知识点，可以关注亿速云网站！小编会继续为大家带来更好的文章！