如何使用docker搭建Flink并查看flink版本

发布时间:2021-09-07 11:24:03 作者:chen
来源:亿速云 阅读:932
# 如何使用Docker搭建Flink并查看Flink版本

## 前言

Apache Flink 是一个开源的流处理框架,支持高吞吐、低延迟的大规模数据处理。使用 Docker 可以快速部署 Flink 环境,避免复杂的本地配置。本文将详细介绍如何通过 Docker 搭建 Flink 集群,并演示如何查看 Flink 版本信息。

---

## 一、环境准备

### 1. 安装 Docker
确保已安装 Docker 环境:
```bash
# 检查Docker版本
docker --version
# 输出示例:Docker version 20.10.17, build 100c701

2. 拉取 Flink 镜像

官方提供了多个版本的 Flink Docker 镜像,推荐使用官方镜像:

docker pull apache/flink:latest

注意:可通过 apache/flink:<tag> 指定版本,如 1.16.0


二、启动 Flink 集群

1. 单机模式(Standalone)

适用于快速测试:

docker run -d --name flink-standalone \
  -p 8081:8081 \
  apache/flink:latest \
  standalone-job

2. 集群模式(Session Cluster)

更接近生产环境的部署方式:

# 启动JobManager
docker run -d --name flink-jobmanager \
  -p 8081:8081 \
  -e JOB_MANAGER_RPC_ADDRESS=jobmanager \
  apache/flink:latest \
  jobmanager

# 启动TaskManager(需与JobManager同网络)
docker run -d --name flink-taskmanager \
  -e JOB_MANAGER_RPC_ADDRESS=jobmanager \
  apache/flink:latest \
  taskmanager

三、访问 Flink Web UI

通过浏览器访问 http://localhost:8081,可查看: - 集群状态 - 运行中的任务 - TaskManager 信息

如何使用docker搭建Flink并查看flink版本


四、查看 Flink 版本

方法1:通过容器内命令行

# 进入容器
docker exec -it flink-standalone /bin/bash

# 执行Flink版本命令
./bin/flink --version
# 输出示例:Version: 1.16.0, Commit ID: 1b659b0

方法2:通过Web UI

在 Web UI 的 “Overview” 页面底部会显示版本号。

方法3:查看镜像元数据

docker inspect apache/flink:latest | grep "FLINK_VERSION"

五、常见问题解决

1. 端口冲突

8081 端口被占用,可修改映射端口:

docker run -d -p 9090:8081 ...

2. 资源不足

通过 -m 限制容器内存:

docker run -d -m 2g ...

3. 持久化数据

挂载本地目录保存 Checkpoint 数据:

docker run -v /host/path:/flink/checkpoints ...

六、扩展:提交测试任务

验证集群是否正常工作:

# 提交WordCount示例任务
docker exec flink-standalone \
  ./bin/flink run ./examples/streaming/WordCount.jar

结语

通过 Docker 部署 Flink 可以极大简化环境配置流程。本文介绍了单机和集群两种部署方式,并提供了多种查看版本的途径。对于生产环境,建议使用 Docker Compose 或 Kubernetes 进行更复杂的编排。

参考文档: - Flink 官方 Docker 指南 - Docker 官方文档 “`

推荐阅读:
  1. 基于Docker Container运行Flink1.7.1
  2. flink伪分布式搭建及其本地idea测flink连接

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

docker

上一篇:如何更改电脑的ip地址

下一篇:怎么选择静态IP和动态IP

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》