Linux Spark安装后如何测试

在Linux系统上安装Apache Spark后，可以通过以下步骤来测试安装是否成功：

1. 检查Spark是否安装成功：

• 在服务器的控制台上执行以下命令来查找Spark的安装目录：

  find / -name spark
  

  如果找到了Spark安装目录，则说明Spark已经安装在服务器上。

• 在服务器的控制台上执行以下命令来检查是否已设置Spark的环境变量：

  echo $SPARK_HOME
  

  如果输出结果不为空，并显示Spark安装目录的路径，则说明Spark已经设置了环境变量。

• 在服务器的控制台上执行以下命令来查看安装的Spark版本号：

  spark-submit --version
  

  这将输出Spark的版本号信息，包括版本号以及其他相关信息。

• 通过执行以下命令来检查服务器上是否运行着Spark相关的进程：

  ps -ef | grep spark
  

  如果输出结果中显示了与Spark相关的进程，则说明Spark正在服务器上运行。

2. 运行Spark自带程序验证安装：

• 在Spark的 bin 目录下运行以下命令来提交一个示例作业，如计算圆周率的近似值：

  spark-submit --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-examples_2.12-3.4.0.jar 10
  

  这个命令会计算圆周率的近似值，其中 10 是计算的次数。

• 启动Spark Shell：

  $SPARK_HOME/bin/spark-shell
  

  如果spark安装成功，那么您将看到类似以下的输出：

  Welcome to
      ____              __
     / __/__  ___ _____/ /__
    / _// _ \/ _ `/ _ `/ _ `/
   /___/\___/\__,_/\__,_/\__/
      /
  
  

通过以上步骤，您可以确定服务器上是否安装了Spark，并进一步查看Spark的版本号、环境变量设置情况以及Spark相关进程和端口的运行情况。