Storm-0.9.3的安装部署步骤

# Storm-0.9.3的安装部署步骤

## 目录
1. [系统环境准备](#系统环境准备)
2. [依赖组件安装](#依赖组件安装)
3. [Storm-0.9.3下载与解压](#storm-093下载与解压)
4. [配置文件修改](#配置文件修改)
5. [集群部署与启动](#集群部署与启动)
6. [测试验证](#测试验证)
7. [常见问题解决](#常见问题解决)
8. [性能优化建议](#性能优化建议)

---

## 系统环境准备

### 硬件要求
- **最低配置**：2核CPU/4GB内存/50GB硬盘
- **生产建议**：8核CPU/16GB内存/SSD存储
- 网络要求：集群节点间千兆网络互通

### 操作系统
```bash
# 检查系统版本（以CentOS为例）
cat /etc/redhat-release
# 预期输出：CentOS release 6.5 (Final)

# 关闭防火墙
service iptables stop
chkconfig iptables off

# 禁用SELinux
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

主机名与hosts配置

# 修改主机名（所有节点）
vi /etc/sysconfig/network
# 添加：HOSTNAME=nimbus01  # 根据角色修改

# 配置hosts文件
vi /etc/hosts
192.168.1.101 nimbus01
192.168.1.102 supervisor01
192.168.1.103 zookeeper01

用户与权限

# 创建专用用户组
groupadd storm
useradd -g storm storm
passwd storm  # 设置密码

# 创建安装目录
mkdir -p /opt/storm
chown -R storm:storm /opt/storm

---

依赖组件安装

JDK 1.7+安装

# 下载JDK（以jdk-7u80为例）
wget https://repo.huaweicloud.com/java/jdk/7u80-b15/jdk-7u80-linux-x64.tar.gz

# 解压并配置环境变量
tar -zxvf jdk-7u80-linux-x64.tar.gz -C /usr/local/
echo 'export JAVA_HOME=/usr/local/jdk1.7.0_80' >> /etc/profile
echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile
source /etc/profile

# 验证安装
java -version

ZooKeeper集群部署（3节点示例）

# 下载安装
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
tar -zxvf zookeeper-3.4.6.tar.gz -C /opt/

# 配置文件修改
cd /opt/zookeeper-3.4.6/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg

# 添加关键配置
dataDir=/var/lib/zookeeper
clientPort=2181
server.1=zookeeper01:2888:3888
server.2=zookeeper02:2888:3888
server.3=zookeeper03:2888:3888

# 创建myid文件
mkdir -p /var/lib/zookeeper
echo "1" > /var/lib/zookeeper/myid  # 各节点分别写1,2,3

# 启动服务
bin/zkServer.sh start

---

Storm-0.9.3下载与解压

二进制包下载

wget https://archive.apache.org/dist/storm/apache-storm-0.9.3/apache-storm-0.9.3.tar.gz

# 校验文件完整性
md5sum apache-storm-0.9.3.tar.gz
# 预期MD5：ac1a78e55a26e66b3d4b8f6e4b3b4d1e

解压与目录结构

tar -zxvf apache-storm-0.9.3.tar.gz -C /opt/
cd /opt/apache-storm-0.9.3

# 主要目录说明
bin/      # 启动脚本
conf/     # 配置文件
lib/      # 依赖库
logs/     # 日志目录
public/   # UI资源

---

配置文件修改

storm.yaml核心配置

# Nimbus节点配置
storm.zookeeper.servers:
  - "zookeeper01"
  - "zookeeper02"
  - "zookeeper03"

storm.local.dir: "/opt/storm_data"
nimbus.host: "nimbus01"

# Supervisor配置
supervisor.slots.ports:
  - 6700
  - 6701
  - 6702
  - 6703

# UI配置（可选）
ui.port: 8080

环境变量配置

# 添加STORM_HOME
echo 'export STORM_HOME=/opt/apache-storm-0.9.3' >> /etc/profile
echo 'export PATH=$STORM_HOME/bin:$PATH' >> /etc/profile
source /etc/profile

---

集群部署与启动

服务启动顺序

1. 启动ZooKeeper集群
2. 启动Nimbus节点
3. 启动Supervisor节点
4. 启动UI服务

具体操作命令

# Nimbus节点
nohup storm nimbus > /dev/null 2>&1 &

# Supervisor节点
nohup storm supervisor > /dev/null 2>&1 &

# UI服务（通常在Nimbus节点）
nohup storm ui > /dev/null 2>&1 &

# 检查进程
jps
# 应看到：Nimbus/Supervisor/UI等进程

---

测试验证

提交示例拓扑

# 运行WordCount示例
storm jar storm-starter-topologies-0.9.3.jar storm.starter.WordCountTopology test-topology

# 查看拓扑列表
storm list

UI访问验证

http://nimbus01:8080

---

常见问题解决

端口冲突问题

# 查看端口占用
netstat -tunlp | grep 6700

# 修改配置后需重启服务
supervisor.slots.ports:
  - 6800
  - 6801

ZooKeeper连接失败

# 错误日志示例
Connection refused to host: zookeeper01

解决方案： 1. 检查ZooKeeper服务状态 2. 验证防火墙设置 3. 检查storm.yaml中的zk配置

---

性能优化建议

资源配置

# 调整worker内存
worker.childopts: "-Xmx2048m"

# 调整并行度
topology.workers: 4
topology.acker.executors: 2

网络调优

storm.messaging.transport: "backtype.storm.messaging.netty.Context"
storm.messaging.netty.server_worker_threads: 8

监控配置

# 集成Ganglia监控
storm.cluster.metrics.consumer.register:
  - class: "backtype.storm.metric.GangliaMetricsConsumer"
    parallelism.hint: 1
    argument: "your.ganglia.host:8649"

---

注意事项： 1. 生产环境建议使用supervisord管理进程 2. 重要配置变更需滚动重启集群 3. 日志文件默认位于$STORM_HOME/logs 4. 建议配合Ansible等工具实现批量部署

本文档最后更新于2023年10月，适用于Storm 0.9.3稳定版部署参考。更高级功能请参考官方文档：https://storm.apache.org/releases/0.9.3/ “`

注：实际内容约3850字（含代码块和格式标记）。如需调整具体细节或补充更多配置示例，可以进一步扩展各章节内容。