Storm的2种运行模式

发布时间:2020-05-30 07:48:24 作者:noteblo
来源:网络 阅读:2665

本地模式运行
    本地模式类似storm集群是一个进程,用来编写和测试topology。在本地模式上运行topology类似在一个集群上运行topology。创建一个本地集群:
    import backtype.storm.LocalCluster;
    LocalCluster cluster = new LocalCluster();
提交集群使用submitTopology,
杀死集群使用killTopology
关闭一个本地集群使用cluster.shutdown();
    本地模式下的公共配置:
    Config.TOPOLOGY_MAX_TASK_PARALLELISM
    Config.TOPOLOGY_DEBUG:



生产集群运行

一、步骤
1、定义topology,若用java语言,使用TopologyBuilder来定义
2、使用StormSubmitter来提交topology到集群中,所需参数需要topology名字,topology的参数配置,topology本身
例:
Config conf = new Config();
conf.setNumWorkers(20);
conf.setMaxSpoutPending(5000);
StormSubmitter.submitTopology("mytopology", conf, topology);
3、创建jar包使用storm 客户端命令,jar包包含你的所有的代码
4、提交topology,为jar包指定参数
storm jar path/to/allmycode.jar org.me.MyTopology arg1 arg2 arg3
实例:


1 public static void main(String[] args) throws Exception {

2 TopologyBuilder builder = new TopologyBuilder();

3 builder.setSpout("random", new RandomWordSpout(), 2);

4 builder.setBolt("transfer", new TransferBolt(), 4).shuffleGrouping("random");

5 builder.setBolt("writer", new WriterBolt(), 4).fieldsGrouping("transfer", new Fields("word"));

6 Config conf = new Config();

7 conf.setNumWorkers(4);// 设置启动4个Worker

8 conf.setNumAckers(1); // 设置一个ack线程

9 conf.setDebug(true); // 设置打印所有发送的消息及系统消息

10 StormSubmitter.submitTopology("test", conf, builder.createTopology());

11 }



二、公共配置
Config.TOPOLOGY_WORKERS :设置执行topology的worker的数量
Config.TOPOLOGY_ACKER_EXECUTORS:
Config.TOPOLOGY_MAX_SPOUT_PENDING
Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS:默认是30s
Config.TOPOLOGY_SERIALIZATIONS


三、杀死topology
storm kill stormname


四、更新一个正在运行的topology
 杀死一个正在运行的topology,提交一个新的topology,计划使用storm swap命令


五、监控topology使用Storm UI或者集群上的工作日志

推荐阅读:
  1. Storm 起步 Zookeeper Storm 单机部署
  2. storm-kafka(storm spout作为kafka的消费端)

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

storm st tor

上一篇:kali学习:DNS信息收集

下一篇:DBA成长之路---mysql数据库服务基础(一)

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》