怎么用Docker-Compose搭建Spark集群

概述

Apache Spark 是一个快速、通用的集群计算系统，广泛用于大数据处理。使用 Docker 和 Docker-Compose 可以轻松地在本地或开发环境中搭建一个 Spark 集群。本文将介绍如何使用 Docker-Compose 来搭建一个包含 Spark Master 和多个 Spark Worker 的集群。

准备工作

在开始之前，确保你已经安装了以下工具：

• Docker
• Docker-Compose

如果你还没有安装这些工具，可以参考官方文档进行安装。

创建 Docker-Compose 文件

首先，我们需要创建一个 docker-compose.yml 文件来定义 Spark 集群的各个组件。

version: '3.8'

services:
  spark-master:
    image: bitnami/spark:3.3.1
    container_name: spark-master
    environment:
      - SPARK_MODE=master
    ports:
      - "8080:8080"
      - "7077:7077"
    networks:
      - spark-network

  spark-worker-1:
    image: bitnami/spark:3.3.1
    container_name: spark-worker-1
    environment:
      - SPARK_MODE=worker
      - SPARK_MASTER_URL=spark://spark-master:7077
    depends_on:
      - spark-master
    networks:
      - spark-network

  spark-worker-2:
    image: bitnami/spark:3.3.1
    container_name: spark-worker-2
    environment:
      - SPARK_MODE=worker
      - SPARK_MASTER_URL=spark://spark-master:7077
    depends_on:
      - spark-master
    networks:
      - spark-network

networks:
  spark-network:
    driver: bridge

解释

• spark-master: 这是 Spark 集群的主节点，负责协调和管理整个集群。
• spark-worker-1 和 spark-worker-2: 这些是 Spark 集群的工作节点，负责执行任务。
• SPARK_MODE: 指定容器的角色，master 或 worker。
• SPARK_MASTER_URL: 工作节点需要知道主节点的地址，这里使用 spark://spark-master:7077。
• ports: 将主节点的 Web UI 端口 8080 和 Spark 通信端口 7077 映射到宿主机。

启动集群

在 docker-compose.yml 文件所在的目录下，运行以下命令来启动 Spark 集群：

docker-compose up -d

这个命令会启动所有定义的服务，并在后台运行。

验证集群

查看容器状态

你可以使用以下命令来查看容器的运行状态：

docker-compose ps

你应该看到类似以下的输出：

      Name                     Command               State           Ports         
----------------------------------------------------------------------------------
spark-master     /opt/bitnami/scripts/spark/entrypoint.sh   Up      0.0.0.0:7077->7077/tcp, 0.0.0.0:8080->8080/tcp
spark-worker-1   /opt/bitnami/scripts/spark/entrypoint.sh   Up      7077/tcp, 8080/tcp
spark-worker-2   /opt/bitnami/scripts/spark/entrypoint.sh   Up      7077/tcp, 8080/tcp

访问 Spark Web UI

打开浏览器，访问 http://localhost:8080，你应该能够看到 Spark 集群的 Web UI。在这里，你可以查看集群的状态、运行的任务等信息。

提交任务

你可以使用 spark-submit 命令来提交任务到集群。首先，进入 spark-master 容器：

docker exec -it spark-master bash

然后，使用 spark-submit 提交一个简单的任务：

spark-submit --master spark://spark-master:7077 --class org.apache.spark.examples.SparkPi /opt/bitnami/spark/examples/jars/spark-examples_2.12-3.3.1.jar 10

这个命令会提交一个计算 Pi 的任务到集群，并输出结果。

停止和清理

当你不再需要集群时，可以使用以下命令停止并删除所有容器：

docker-compose down

总结

通过 Docker-Compose，我们可以轻松地在本地搭建一个 Spark 集群，并进行开发和测试。这种方法不仅简单易用，而且可以快速扩展集群规模，非常适合开发和测试环境。希望本文能帮助你快速上手使用 Docker-Compose 搭建 Spark 集群。