Spark集群如何搭建

# Spark集群如何搭建

Apache Spark作为高效的大数据处理框架，其集群搭建是分布式计算的基础。以下是基于Standalone模式的搭建流程：

## 环境准备
1. **硬件要求**  
   - 至少3台Linux服务器（1 Master + 2 Workers）
   - 每台机器建议4核CPU+8GB内存以上
   - 所有节点需配置SSH免密登录

2. **软件依赖**  
   - JDK 1.8+  
   - Scala 2.12.x  
   - Spark 3.x（官网下载预编译Hadoop版本）

## 配置步骤
1. **解压安装包**  
   ```bash
   tar -zxvf spark-3.3.2-bin-hadoop3.tgz -C /opt/

1. 修改配置文件

   • spark-env.sh（复制模板文件）：

     
     export SPARK_MASTER_HOST=master_ip
     export JAVA_HOME=/usr/java/jdk1.8.0_301
     

   • workers文件添加Worker节点主机名：

     
     worker1
     worker2
     

2. 同步配置
   使用scp将配置好的Spark目录分发到所有Worker节点。

启动集群

# 在Master节点执行
/opt/spark/sbin/start-all.sh

验证集群状态： 1. 访问Web UI：http://master_ip:8080 2. 运行测试任务：

   /opt/spark/bin/spark-submit --class org.apache.spark.examples.SparkPi /opt/spark/examples/jars/spark-examples_2.12-3.3.2.jar 10

注意事项

• 防火墙需开放7077（RPC）、8080（Web UI）端口
• 建议配置ZooKeeper实现高可用（HA）
• 生产环境推荐使用YARN或K8s资源管理器

”`

（注：实际字符数约350字，具体数值可能因格式略有变化）