Storm的安装部署方法

发布时间:2021-08-06 21:37:54 作者:chen
来源:亿速云 阅读:109

这篇文章主要讲解了“Storm的安装部署方法”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Storm的安装部署方法”吧!

一、storm 的安装

在搭建Storm 集群时,具体分为这么几步:

1、搭建zookeeper集群

2、安装storm 的依赖库

3、下载并解压Storm

4、修改配置文件

5、启动Storm

第一步:搭建zookeeper集群

zookeeper作为storm的管理协调者,zookeeper是必不可少的

拷贝安装包,并解压tar -xvf zookeeper-3.3.6.deploy.tar.gz

修改zookeeper目录下conf中的zoo.cfg文件
dataDir=/home/shaka/zookeeper/zookeeper-3.3.6/data
# the port at which the clients will connect
clientPort=2181
# set logs
dataLogDir=/home/shaka/zookeeper/zookeeper-3.3.6/logs
# set server
server.1=[IP]:4887:5887  //[IP]为本机IP地址
 

修改红色部分的配置文件,端口2181可以保持默认,没有特殊需求不必修改
修改完成配置文件后,在bin/目录下启动  zkServer.sh start
查看zookeeper状态,在bin/目录下 zkServer.sh status
停止:zkServer.sh stop
重启:zkServer.sh stop
启动客户端:zkCli.sh -server 127.0.0.1:2181
显示根目录下、文件: ls / 使用 ls 命令来查看当前 ZooKeeper 中所包含的内容
显示根目录下、文件: ls2 / 查看当前节点数据并能看到更新次数等数据
创建文件,并设置初始内容: create /zk "test" 创建一个新的 znode节点“ zk ”以及与它关联的字符串
获取文件内容: get /zk 确认 znode 是否包含我们所创建的字符串
 修改文件内容: set /zk "zkbak" 对 zk 所关联的字符串进行设置
 删除文件: delete /zk 将刚才创建的 znode 删除
 退出客户端: quit
 帮助命令: help
第二步:安装Storm依赖库
在/home/user/下创建dependences目录,安装依赖库文件
拷贝zeromq,jzmq到该目录
解压两个文件
tar -xvf zeromq-4.0.4.tar.gz
tar -xvf jzmq.deploy.tar.gz
安装zeromq
cd zeromq-4.0.4
./configure
make   (使用ROOT用户执行make命令)
make install  (使用ROOT用户执行make命令)
安装jzmq
cd jzmq
./configure
make (使用ROOT用户执行make命令)
make install(使用ROOT用户执行make命令)
第三步:安装Storm
下载解压文件:
tar -xvf apache-storm-0.9.2-incubating.deploy.tar.gz
配置环境变量
vim ~/.bash_profile
追加
export STORM_HOME=/home/user/storm/apache-storm-0.9.2-incubating
export PATH=$PATH:$STORM_HOME/bin
重载环境变量    . ~/.bash_profile
修改配置文件/home/user/storm/conf/storm.yaml
########### These MUST be filled in for a storm configuration
 storm.zookeeper.servers:
     - "10.2.73.11"

 nimbus.host: "10.2.73.11"   (地址与zookeeper中配置的保持一致)
 storm.local.dir: "/home/shaka/apache-storm-0.9.2-incubating/File_Storm"

1)如果Zookeeper集群使用的不是默认端口,那么还需要storm.zookeeper.port选项。
2) nimbus.host: Storm集群Nimbus机器地址,各个Supervisor工作节点需要知道哪个机器是Nimbus,以便下载Topologies的jars、confs等文件,如:
nimbus.host: "111.222.333.444"
3) storm.local.dir: Nimbus和Supervisor进程用于存储少量状态,如jars、confs等的本地磁盘目录,需要提前创建该目录并给以足够的访问权限。然后在storm.yaml中配置该目录,如:
storm.local.dir: "./workdir"
启动Storm
启动Storm(在此之前要启动Zookeeper)
storm nimbus &
storm supervisor &
storm ui &

启动后可以通过http://{nimbus host}:8080   在windows的浏览器上。


到此storm的安装完成。
一个单节点模式的storm搭建起来了!
启动如果碰到错误:
normclasspath = cygpath if sys.platform == 'cygwin' else identity
原因分析:
python2.4
python2.6
版本问题,需要指定用2.6版本,方法:
rm /usr/bin/python
ln -s /usr/local/bin/python2.6 /usr/bin/python
扩展成一个Strom集群的方法
将shaka/storm下的软件包完全一样的拷贝到新的机器上。
配置文件不需要修改!
因为要共用zk和nimbus

配置环境变量
vim ~/.bash_profile
          追加export STORM_HOME=/home/shaka/storm/apache-storm-0.9.2-incubating
          export PATH=$PATH:$STORM_HOME/bin

启动supervisro &的方法:
storm supervisor &


启动后可以通过http://{nimbus host}:8080   在windows的刘篮球上。


到此集群版的storm的安装完成。
一个集群模式的storm搭建起来了!

感谢各位的阅读,以上就是“Storm的安装部署方法”的内容了,经过本文的学习后,相信大家对Storm的安装部署方法这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!

推荐阅读:
  1. storm记录--6-- Storm的HelloWorld
  2. storm记录--3--Storm的基本概念

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

storm

上一篇:Node-Red怎么实现MySQL数据库的连接

下一篇:如何解决某些HTML字符打不出来的问题

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》