zookeeper+kafka集群部署+storm集群

zookeeper+kafka集群部署+storm集群

一、环境安装前准备：

准备三台机器

操作系统：centos6.8

jdk:jdk-8u111-linux-x64.gz

zookeeper:zookeeper-3.4.11.tar.gz

kafka: kafka_2.11-1.0.1.tgz

storm:apache-storm-1.2.2.tar.gz

配置/etc/hosts(三台上都操作)

vi /etc/hosts

192.168.1.211 canal01

192.168.1.212 canal02

192.168.1.213 canal03

二、jdk安装（三台）

2.1解压软件

tar zxvf jdk-8u111-linux-x64.gz

mv  jdk-8u111-linux-x64 /usr/local/jdk

2.2配置环境变量

vi /etc/profile

#java

JAVA_HOME=/usr/local/jdk

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME

export PATH

export CLASSPATH

环境变量生效

source /etc/profile

三、zookeeper集群安装(三台上操作)

3.1解压软件

tar zxvf zookeeper-3.4.11.tar.gz

mv zookeeper-3.4.11 /usr/local/zookeeper

cd /usr/local/zookeeper/conf

mv  mv zoo_sample.cfg zoo.cfg

3.2、配置zoo.cfg

vi zoo.cfg

#修改

dataDir=/usr/local/zookeeper/data

#添加

dataLogDir=/usr/local/zookeeper/logs

server.1=192.168.1.211:2888:3888

server.2=192.168.1.212:2888:3888

server.3=192.168.1.213:2888:3888

3.3、创建目录

mkdir /usr/local/zookeeper/data

mkdir /usr/local/zookeeper/logs

在192.168.1.211操作

echo "1" >/usr/local/zookeeper/data/myid

在192.168.1.212操作

echo "2" >/usr/local/zookeeper/data/myid

在192.168.1.213操作

echo "3" >/usr/local/zookeeper/data/myid

3.4、启动zookeeper

cd /usr/local/zookeeper/bin/

./zkServer.sh start

3.5、查看状态

cd /usr/local/zookeeper/bin/

./zkServer.sh status

注意：查看zookeeper集群的状态，出现Mode:follower或是Mode:leader则代表成功

四、kafka集群安装（三台上操作）

4.1解压软件

tar zxvf  kafka_2.11-1.0.1.tgz

mv kafka_2.11-1.0.1 /usr/local/kafka

4.2配置kafka（在三台分别操作）

在192.168.1.211操作

cd /usr/local/kafka/config/

cp server.properties server0.properties

vi server0.properties

#修改

broker.id=0

zookeeper.connect=192.168.1.211:2181,192.168.1.212:2181,192.168.1.213:2181

在192.168.1.212操作

cd /usr/local/kafka/config/

cp server.properties server0.properties

vi server0.properties

#修改

broker.id=1

zookeeper.connect=192.168.1.211:2181,192.168.1.212:2181,192.168.1.213:2181

在192.168.1.213操作

cd /usr/local/kafka/config/

cp server.properties server0.properties

vi server0.properties

#修改

broker.id=2

zookeeper.connect=192.168.1.211:2181,192.168.1.212:2181,192.168.1.213:2181

4.3启动kafka(采用后台启动方式)

/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server0.properties

查看日志是否成功

cd /usr/local/kafka/logs

tail -200 kafkaServer.out

以上图说明成功，没有报错

五、storm集群安装（三台都操作）

5.1、解压软件

tar zxvf apache-storm-1.2.2.tar.gz

mv apache-storm-1.2.2 /usr/local/storm

5.2、配置storm

cd /usr/local/storm/conf/

vi storm.yaml

##配置

storm.zookeeper.servers:

- "192.168.1.211"

- "192.168.1.212"

- "192.168.1.213"

storm.zookeeper.port: 2181

nimbus.seeds: ["canal01"]

storm.local.dir: "/usr/local/storm/storm-local"

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

storm.health.check.dir: "healthchecks"

storm.health.check.timeout.ms: 5000

5.3、配置环境变量

vi /etc/profile

##storm

export STORM_HOME=/usr/local/storm

export PATH=${STORM_HOME}/bin:$PATH

环境变量生效

source /etc/profile

5.4、启动storm

在192.168.1.211操作

storm nimbus >/dev/null 2>&1 &

storm ui &

在192.168.1.212操作

storm supervisor >/dev/null 2>&1 &

在192.168.1.213操作

storm supervisor >/dev/null 2>&1 &

访问strom http://192.168.1.211:8080