spark的配置方法分享

本篇内容主要讲解“spark的配置方法分享”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“spark的配置方法分享”吧!

1. spark 可以在3处配置系统：spark properties控制大多数应用程序的参数，通过SparkConf对象或者Java系统property设置；环境变量在每一台机器上可以通过conf/spark-env.sh单独设置；Logging可以通过log4j.properties设置

2. SparkConf单独为每个应用程序设置，可以设置masterURL，应用程序名，以及任意的键值对，通过相应的set方法。spark-shell和spark-submit支持两种动态加载配置的方式，第一是通过命令行参数，第二是通过--conf标志。./bin/spark-submit --help可以查看命令参数。bin/spark-submit也将从conf/spark-defaults.conf文件中加载配置信息，文件中包含以空格分隔的键值对。配置的优先级从高到低依次是SparkConf > 传递到spark-shell或spark-submit的参数 > spark-defaults.conf文件。

3. 常用的应用程序配置参数

spark.executor.memory
 

到此，相信大家对“spark的配置方法分享”有了更深的了解，不妨来实际操作一番吧！这里是亿速云网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！