Spark在Linux上的安装命令

在Linux上安装Apache Spark可以通过多种方式进行，包括使用包管理器（如apt或yum）或者从源代码编译安装。以下是使用包管理器安装Spark的步骤：

使用APT（适用于Debian/Ubuntu系统）

1. 更新包列表：

   sudo apt update
   

2. 添加Spark官方GPG密钥：

   wget -q "https://www.apache.org/dist/spark/spark-3.3.0/spark-3.3.0-bin-hadoop3.2.tgz.asc" -O - | sudo apt-key add -
   

3. 添加Spark仓库到APT源列表：

   echo "deb https://www.apache.org/dist/spark/spark-3.3.0/spark-3.3.0-bin-hadoop3.2.tgz ./" | sudo tee /etc/apt/sources.list.d/spark.list
   

4. 更新APT包列表：

   sudo apt update
   

5. 安装Spark：

   sudo apt install spark-3.3.0-bin-hadoop3.2
   

6. 配置环境变量（可选）： 编辑~/.bashrc或~/.profile文件，添加以下行：

   export SPARK_HOME=/usr/share/spark-3.3.0-bin-hadoop3.2
   export PATH=$PATH:$SPARK_HOME/bin
   

   然后运行：

   source ~/.bashrc  # 或 source ~/.profile
   

使用YUM（适用于CentOS/RHEL系统）

1. 添加Spark官方GPG密钥：

   sudo rpm --import https://www.apache.org/dist/spark/spark-3.3.0/spark-3.3.0-bin-hadoop3.2.tgz.asc
   

2. 创建Spark仓库文件： 创建一个名为spark.repo的文件，并添加以下内容：

   [spark]
   name=Apache Spark Repository
   baseurl=https://www.apache.org/dist/spark/spark-3.3.0/spark-3.3.0-bin-hadoop3.2.tgz
   enabled=1
   gpgcheck=1
   gpgkey=https://www.apache.org/dist/spark/spark-3.3.0/spark-3.3.0-bin-hadoop3.2.tgz.asc
   

3. 将仓库文件复制到YUM仓库目录：

   sudo cp spark.repo /etc/yum.repos.d/
   

4. 安装Spark：

   sudo yum install spark-3.3.0-bin-hadoop3.2
   

5. 配置环境变量（可选）： 编辑~/.bashrc或~/.profile文件，添加以下行：

   export SPARK_HOME=/usr/share/spark-3.3.0-bin-hadoop3.2
   export PATH=$PATH:$SPARK_HOME/bin
   

   然后运行：

   source ~/.bashrc  # 或 source ~/.profile
   

验证安装

安装完成后，可以通过以下命令验证Spark是否正确安装：

spark-submit --version

如果显示了Spark的版本信息，则说明安装成功。

请根据你的具体需求和系统环境选择合适的安装方法。