如何搭建spark集群

发布时间:2021-08-27 17:40:52 作者:chen
来源:亿速云 阅读:100

这篇文章主要介绍“如何搭建spark集群 ”,在日常操作中,相信很多人在如何搭建spark集群 问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”如何搭建spark集群 ”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

配置linux

安装epel

CentOS6.5下添加epel源
时间:2014-09-20 01:46来源:cnblogs 作者:天生我材有P用 举报 点击:22665次
0.安装yum优先级插件

yum install yum-priorities
1.epel简介: https://fedoraproject.org/wiki/EPEL/zh-cn

rpm -Uvh http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm
rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm
以上URL请按实际情况修改

2.查看是否安装成功

rpm -q epel-release
 3.导入key:

rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6
4.修改/etc/yum.repos.d/epel.repo文件

在[epel]最后添加一条属性 priority=11

vi /etc/yum.repos.d/epel.repo
意思是yum先去官方源查,官方没有再去epel的源找

5.重建缓存

yum makecache

配置环境

scp root@10.10.11.191:/root/Download/jdk.tar.gz jdk.tar.gz
scp root@10.10.11.191:/root/Download/apache-maven-3.3.9-bin.tar.gz apache-maven-3.3.9-bin.tar.gz
scp root@10.10.11.191:/root/Download/spark-2.0.1-SNAPSHOT-bin-nevermore-spark.tgz spark-2.0.1-SNAPSHOT-bin-nevermore-spark.tgz




vi /etc/profile

+++
JAVA_HOME=/opt/env/jdk1.7.0_79
MAVEN_HOME=/opt/env/maven-3.3.9
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH
export JAVA_HOME
export CLASSPATH
:wq

source /etc/profile


vi /etc/hosts
10.10.11.191    spark.env
:wq

ssh-keygen -t rsa
touch /root/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys


./sbin/start-slave.sh spark://spark.env:7077

到此,关于“如何搭建spark集群 ”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!

推荐阅读:
  1. 动手搭建docker并在docker容器中建spark集群
  2. 大数据:spark集群搭建

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

spark

上一篇:C语言中堆和树的区别

下一篇:Nginx的进程模型及核心原理

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》