flink运行模式有哪些

本篇内容介绍了“flink运行模式有哪些”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

什么是flink

• 一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。

• 下载地址

• 历史下载地址和最新下载地址

• 国内地址

运行架构

• 计算架构：JobManager和TaskManger

• JobManager主要负责调度task，协调checkpoint已经错误恢复等

• TaskManger具体任务执行

计算框架

• Flink SQL，原型是阿里2019开源 Blink代码。

• Flink SQL定义sql语句，代码加载实现数据结构化和处理功能。

• Table API：

• 有source和sink概念，source是输入源，sink为输出源，代码有相关sql方法，无需定义sql语句。

• DataStream和DataSetAPI，纯代码实现计算，一个负责实时，一个服务批处理。

运行模式

• 资料

• 三种模式

• Yarn-session 模式

• Single job 模式

• 预先在yarn上面划分一部分资源给flink集群用，flink提交的所有任务，共用这些资源

• 每次提交任务，都会创建一个新的flink集群

• 无hadoop集群，flink自身集群运行。

• 本地主机计算

• 模式一：Local（本地）模式

• 模式二：Standalone（独立）模式

• on yarn模式

“flink运行模式有哪些”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站，小编将为大家输出更多高质量的实用文章！