如何在Linux上安装Spark集群

在 Linux 上安装 Spark 集群

一 环境准备与规划

• 准备至少 3 台 Linux 服务器（建议 CentOS 7/8 或 Ubuntu 20.04+），规划 1–2 个 Master 与 多个 Worker。示例：Master1（192.168.0.11）、Master2（192.168.0.12）、Worker1/2/3（192.168.0.21–23）。
• 安装 JDK 8（推荐），配置 /etc/hosts 名称解析，配置 SSH 免密登录（Master 能免密登录所有节点），开启 NTP 时间同步，并关闭防火墙或放行端口（如 8080/7077/4040）。
• 选择 Spark 3.5.x 预编译包（与 Hadoop 3.x 兼容），如：spark-3.5.2-bin-hadoop3-scala2.13.tgz。
• 如需访问 HDFS，提前部署 Hadoop 并配置 HADOOP_CONF_DIR。

二 安装与配置步骤

• 在所有节点安装并解压 Spark 到统一目录（示例：/opt/module/spark-3.5.2），并配置环境变量（示例追加到 /etc/profile）：
  • 环境变量示例：
    • export JAVA_HOME=/opt/module/jdk-1.8.361
    • export HADOOP_HOME=/opt/module/hadoop-3.3.6
    • export SPARK_HOME=/opt/module/spark-3.5.2
    • export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin
  • 使配置生效：source /etc/profile。
• 在 Master 节点配置：
  • 复制并编辑 $SPARK_HOME/conf/spark-env.sh：
    • cp spark-env.sh.template spark-env.sh
    • 设置：export SPARK_MASTER_HOST=master1（或当前 Master IP）；可按需设置 SPARK_WORKER_CORES、SPARK_WORKER_MEMORY、SPARK_WORKER_INSTANCES；如使用 HDFS，设置 HADOOP_CONF_DIR。
  • 配置 $SPARK_HOME/conf/workers（旧版为 slaves）：写入所有 Worker 主机名（如 worker1、worker2、worker3）。
• 将 Spark 目录与环境变量分发到所有 Worker 节点（可使用 scp -r）。

三 启动与验证

• 启动集群：在 Master 节点执行 $SPARK_HOME/sbin/start-all.sh（该脚本会启动 Master 与所有 Worker）。
• 验证进程：在各节点执行 jps，应看到 Master/Worker 进程。
• 访问 Spark Web UI：打开 http://:8080，确认 Workers 已注册、资源与应用信息正常。
• 运行测试：
  • 进入交互式：$SPARK_HOME/bin/spark-shell --master spark://:7077
  • 提交示例：$SPARK_HOME/bin/spark-submit --master spark://:7077 test.py（示例脚本可包含简单 RDD 计算）。

四 高可用与常见故障处理

• 高可用（Standalone + ZooKeeper）：
  • 部署 ZooKeeper 集群（3 或 5 节点），在 zoo.cfg 中配置 server.X，并在 dataDir 下创建 myid 标识各自编号。
  • 在 spark-env.sh 启用 ZooKeeper 恢复：
    • export SPARK_DAEMON_JAVA_OPTS=“-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=zk1:2181,zk2:2181,zk3:2181 -Dspark.deploy.zookeeper.dir=/spark”
  • 启动方式：在 Master1 执行 start-all.sh，在 Master2 单独执行 $SPARK_HOME/sbin/start-master.sh；访问 http://master1:8080 与 http://master2:8080 可看到 Active/Standby 状态切换。
• 常见问题与处理：
  • 权限问题：若日志目录不可写，执行 sudo chown -R $(whoami) /usr/local/spark-3.5.2（路径按实际调整）。
  • 端口/防火墙：确保 8080（Web UI）、7077（集群提交）、4040（应用 UI）已放行。
  • 时间不同步：部署 NTP/chrony，避免认证与调度异常。
  • SSH 免密：Master 无法免密登录 Worker 时，检查 ~/.ssh/authorized_keys 与权限（600/700）。