Linux Spark安装过程中注意什么

Linux 上安装 Spark 的关键注意事项

一 环境与版本匹配

• 选择兼容的 Java：优先使用 JDK 8 或 JDK 11；安装后用 java -version 校验，避免版本不兼容导致启动失败。
• 下载匹配的 Spark 预编译包：包名中的 Hadoop 版本需与实际环境一致，例如 spark-3.5.x-bin-hadoop3，避免运行期类库冲突。
• 规划运行模式：仅本地测试可不装 Hadoop；使用 HDFS/YARN 或 Standalone 集群时，需提前部署并打通网络与权限。
• 如用 PySpark，准备 Python 3.x 并在提交任务前确认解释器路径与依赖可用。

二 目录与用户权限

• 统一安装目录（如 /opt/module/ 或 /opt/），解压后规范重命名，便于多节点分发与维护。
• 建议使用 专用系统用户（如 spark）运行服务，避免使用 root；目录与日志文件设置合适的 所有者/权限，防止提交作业或写日志失败。
• 配置环境变量时区分登录与非登录 Shell：全局用 /etc/profile，个人用 ~/.bashrc 或 ~/.zshrc，修改后执行 source 使其生效。

三 配置与端口要点

• 在 conf/spark-env.sh 中显式设置关键变量：JAVA_HOME、SPARK_MASTER_HOST、SPARK_MASTER_PORT，以及资源参数 SPARK_WORKER_CORES、SPARK_WORKER_MEMORY，避免资源争用。
• 集群模式需正确配置 workers/slaves 文件，列出所有 Worker 主机名；Standalone 部署时在各节点保持一致的配置与目录结构。
• 避免端口冲突：默认 Master Web UI 8080、Master RPC 7077；如被占用，在 spark-env.sh 中调整 SPARK_MASTER_WEBUI_PORT/SPARK_MASTER_PORT。
• 日志与输出：将 conf/log4j.properties.template 复制为 log4j.properties，按需把日志级别调为 ERROR 以减少刷屏，便于排错。

四 启动与验证

• 启动顺序建议：先启动 HDFS/YARN（如使用），再启动 Spark Master 与 Workers；Standalone 可用 start-all.sh，或分别执行 start-master.sh / start-slaves.sh。
• 访问 http://:8080 检查集群状态与 Worker 注册情况；本地可用 spark-shell 验证交互环境。
• 提交测试：用 spark-submit 运行示例（如 examples 中的 pi.py），或提交简单作业到 local / spark://master:7077 / yarn 进行端到端验证。

五 常见问题与快速排查

• Java 问题：出现 “Java not found/class not found” 等，优先检查 JAVA_HOME 与 PATH 是否指向正确的 JDK 8/11，并确保所有节点一致。
• Python 版本：PySpark 默认可能使用 Python 2.7；在 conf/spark-env.sh 中设置 PYSPARK_PYTHON=/usr/bin/python3 切换为 Python 3.x。
• 连接与认证：跨节点访问失败或认证异常，先排查 主机名解析、SSH 免密、时间同步（NTP） 与防火墙策略。
• Hadoop 相关告警：如 “WARN NativeCodeLoader: Unable to load native-hadoop library” 一般不影响功能，如需优化可按需安装本地库。
• 端口占用：Web UI 或 RPC 端口被占用时，修改 SPARK_MASTER_WEBUI_PORT/SPARK_MASTER_PORT 后重启；必要时用 lsof/ss 确认占用进程。