您好，登录后才能下订单哦！
密码登录
登录注册
点击 登录注册 即表示同意《亿速云用户服务条款》
本篇内容主要讲解“如何远程提交Spark应用到集群”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“如何远程提交Spark应用到集群”吧!
介绍如何在集群之外提交Spark任务到集群。
Spark目前支持三种集群，分别是Spark自实现的standalone集群、mesos集群和YARN集群。
使用standalone集群，提交应用时使用–master参数指定集群地址，如 --master spark://masternode:7077
所以只需要有spark的客户端，可以很方便的远程提交应用到指定的集群。
使用mesos集群，同样是指定–master参数为集群地址，如 --master mesos://master66:5050。这种形式和standalone集群很相似，也可以很方便的通过远程来提交应用。
使用YARN集群，–master参数指定为YARN，但是要求预先设置HADOOP_CONF_DIR或者YARN_CONF_DIR的环境变量，这个环境变量指向hadoop相关配置的目录。spark客户端会读取并解析其中的配置文件，并使用其中的配置信息来连接集群管理器。
如果要在远程提交应用到Yarn集群，最简单的方式就是从集群把这些配置下载下来，然后配置环境变量。
具体可以参考资料：
Remote Spark Jobs on YARN
Spark submit YARN mode HADOOP_CONF_DIR contents
How to submit a spark job on a remote master node in yarn client mode?
我想，或许我们可以找出spark需要的配置项，然后通过命令行的方式来指定，而不用通过配置目录的环境变量，这样我可以灵活的切换不同的集群，而我确实有这个需要。
这一个方向还有待探索。
在windows系统提交应用的示例：
1 | set HADOOP_CONF_DIR=E:LOCALCLUSTERSERVICE-HADOOP-a1e7b238d7f044d6b70185654c855c52 & |
到此，相信大家对“如何远程提交Spark应用到集群”有了更深的了解，不妨来实际操作一番吧！这里是亿速云网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。