hadoop2.7.3平台怎么搭建spark2.1.1

发布时间:2021-08-17 22:09:57 作者:chen
来源:亿速云 阅读:110

这篇文章主要讲解了“hadoop2.7.3平台怎么搭建spark2.1.1”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“hadoop2.7.3平台怎么搭建spark2.1.1”吧!

hadoop平台搭建spark 
三台机器
master
slave1
slave2

--安装配置scala  master 节点

tar -zxvf  scala-2.12.2.tgz

/etc/profile

export SCALA_HOME=/usr/scala-2.12.2

export PATH=$SCALA_HOME/bin:$PATH

scala -version

复制到slave 并配置环境变量

scp -r scala-2.12.2 root@slave1:/usr/

scp -r scala-2.12.2 root@slave2:/usr/

---安装spark  在master节点运行

tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz

vi /etc/profile

export SPARK_HOME=/usr/spark-2.1.1-bin-hadoop2.7

export PATH=$SPARK_HOME/bin:$PATH

最终变量

export HADOOP_HOME=/usr/hadoop-2.7.3

export SCALA_HOME=/usr/scala-2.12.2

export SPARK_HOME=/usr/spark-2.1.1-bin-hadoop2.7

export PATH=$PATH:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin

配置

 1.spark-env.sh

cp spark-env.sh.template spark-env.sh

修改此文件,在文件末尾添加

###jdk安装目录

export JAVA_HOME=/usr/java/jdk1.8.0_101

###scala安装目录

export SCALA_HOME=/usr/scala-2.12.2

###spark集群的master节点的ip

export SPARK_MASTER_IP=192.168.58.10

###指定的worker节点能够最大分配给Excutors的内存大小

export SPARK_WORKER_MEMORY=1g

###hadoop集群的配置文件目录

export HADOOP_CONF_DIR=/usr/hadoop-2.7.3/etc/hadoop

2.slaves

cp slaves.template slaves

master

slave1

slave2

将spark文件和环境变量复制到slave节点

scp -r spark-2.1.1-bin-hadoop2.7 root@slave1:/usr/

scp -r spark-2.1.1-bin-hadoop2.7 root@slave2:/usr/

如果没有设置节点ip不用管下面的

在Slave1和Slave2修改$SPARK_HOME/conf/spark-env.sh,

将export SPARK_LOCAL_IP=114.55.246.88改成Slave1和Slave2对应节点的IP。

spark启动与关闭 保证hadoop已经运行

启动 进入到spark目录

./sbin/start-all.sh

关闭

./sbin/stop-all.sh

---验证

http://192.168.58.10:8080/

spark-shell

感谢各位的阅读,以上就是“hadoop2.7.3平台怎么搭建spark2.1.1”的内容了,经过本文的学习后,相信大家对hadoop2.7.3平台怎么搭建spark2.1.1这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!

推荐阅读:
  1. 搭建git 代码同步平台
  2. 搭建集群平台

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

hadoop spark

上一篇:MySQL5.7的多源复制方法

下一篇:什么是ASP.NET MVC

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》