Linux Spark安装注意事项

在Linux系统上安装Apache Spark时，需要注意以下几个关键点：

环境准备

• JDK安装：确保已安装推荐版本的JDK（如JDK 8或JDK 11）。
• Hadoop安装：如果计划使用HDFS或其他Hadoop组件，则需要安装Hadoop。
• Python（可选）：如果计划使用PySpark，需要安装Python。

下载与解压

• 访问Apache Spark官方网站下载最新版本的Spark。
• 解压文件到指定目录，例如 /opt。

配置环境变量

• 编辑 /.bashrc 或 /.zshrc 文件，添加以下内容：

  export SPARK_HOME=/opt/spark-3.3.2-bin-hadoop3
  export PATH=$SPARK_HOME/bin:$PATH
  

• 使配置生效：source /.bashrc。

验证安装

• 运行 spark-shell，如果看到Spark的REPL界面，则表示安装成功。

启动Spark集群

• 进入Spark的sbin目录并启动集群：

  cd /opt/spark-3.3.2-bin-hadoop3/sbin
  ./start-all.sh
  

提交应用

• 使用以下命令提交一个示例应用来测试安装：

  ./bin/spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    ./examples/jars/spark-examples_2.12-3.3.2.jar
  

常见问题及解决方法

• 文件描述符过多：在HDP集群上，需要在ulimit里设置最大文件打开数量，建议设置为10240。
• 内存溢出（OOM）：可能需要增大spark.driver.memory和spark.executor.memory的设置。
• 数据倾斜：使用repartition或coalesce函数对数据进行重新分区，以减少数据倾斜的影响。

以上是在Linux系统上安装Apache Spark时需要注意的事项，包括环境准备、下载与解压、配置环境变量、验证安装、启动Spark集群、提交应用以及常见问题及解决方法。