如何进行Spark Job 动态分配资源的分析

本篇文章为大家展示了如何进行Spark Job 动态分配资源的分析，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。

项目中使用spark 自带的thrift-server做hdfs数据查询统计服务。当数据过多时，thrift-server 需要分配大量的资源，当不需要查询时分配当量的资源又显得非常浪费，因此想到是否有可能动态分配资源。
（thrift-server也是一个job（yarn app），因此这种方法同样适用于一般的spark job）。
目前动态资源分配只适合spark on yarn，配置方式如下。

yarn node manager 配置

修改所有节点yarn node-manager配置，在$HADOOP_HOME/etc/hadoop/yarn-site.xml中添加：

    <property><name>yarn.nodemanager.aux-services.spark_shuffle.class</name><value>org.apache.spark.network.yarn.YarnShuffleService</value></property><property><name>spark.shuffle.service.port</name><value>7337</value></property>

将$SPARK_HOME/lib/spark-1.3.0-yarn-shuffle.jar copy到 $HADOOP_HOME/share/hadoop/yarn/lib 目录下。

重启yarn。

spark-default配置

修改 $SPARK_HOME/conf/spark-default.conf 文件，添加以下内容：

spark.shuffle.service.enabled true
spark.shuffle.service.port 7337 spark.dynamicAllocation.enabled true
spark.dynamicAllocation.minExecutors 1spark.dynamicAllocation.maxExecutors 12spark.dynamicAllocation.schedulerBacklogTimeout 1spark.dynamicAllocation.sustainedSchedulerBacklogTimeout 5spark.dynamicAllocation.cachedExecutorIdleTimeout 60

验证

这里使用spark中内置的thrift-server验证。
启动thrift-server，只配置 --executor-memory 参数。
sbin/start-thriftserver.sh --master yarn-client --executor-memory 1g
通过application UI可看到executors分配，当有并发查询或者查询压力比较大时，会申请更多的executor，空闲时回收。

上述内容就是如何进行Spark Job 动态分配资源的分析，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注亿速云行业资讯频道。