在 Ubuntu 上搭建 Flink 运行环境需要以下几个步骤:
Flink 依赖于 Java 环境运行,因此首先需要安装 JDK。可以使用以下命令来安装 OpenJDK 8:
sudo apt-get update
sudo apt-get install openjdk-8-jdk
从 Flink 官网(https://flink.apache.org/downloads.html)下载最新版本的 Flink 二进制包,然后解压到一个目录中。例如:
wget https://downloads.apache.org/flink/flink-1.13.2/flink-1.13.2-bin-scala_2.11.tgz
tar -xzf flink-1.13.2-bin-scala_2.11.tgz
cd flink-1.13.2
在 Flink 解压后的目录中,可以根据需要修改配置文件。主要的配置文件有两个:conf/flink-conf.yaml
和 conf/masters
。
在 conf/flink-conf.yaml
中,可以设置 Flink 的运行参数,例如 jobmanager 的内存大小、taskmanager 的内存大小等。
在 conf/masters
文件中,指定 JobManager 的地址。如果只在单台机器上运行 Flink,这里可以写 localhost
。
在 Flink 解压后的目录中,可以使用以下命令启动 Flink:
./bin/start-cluster.sh
这将启动 JobManager 和 TaskManager。你可以通过访问 Web UI(默认地址为 http://localhost:8081)来查看 Flink 集群的状态。
可以使用以下命令提交 Flink 作业:
./bin/flink run -c com.example.MyJob myjob.jar
其中 -c
参数指定了作业的主类名,myjob.jar
是包含作业代码的 JAR 文件。
至此,你已经成功搭建了 Flink 运行环境。接下来就可以开始编写和运行 Flink 作业了。