如何在centos上部署hbase集群 - 问答

在CentOS上部署HBase集群涉及多个步骤，包括安装Java、配置Hadoop、安装和配置HBase等。以下是一个基本的指南：

1. 安装Java

HBase需要Java环境，推荐使用OpenJDK或Oracle JDK。

sudo yum install java-1.8.0-openjdk-devel

验证安装：

java -version

2. 配置Hadoop

HBase依赖于Hadoop，因此需要先配置Hadoop。

2.1 下载并解压Hadoop

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz -C /opt

2.2 配置Hadoop

编辑/opt/hadoop-3.3.1/etc/hadoop/core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://your-namenode:9000</value>
    </property>
</configuration>

编辑/opt/hadoop-3.3.1/etc/hadoop/hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

编辑/opt/hadoop-3.3.1/etc/hadoop/mapred-site.xml：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

编辑/opt/hadoop-3.3.1/etc/hadoop/yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

2.3 格式化HDFS

/opt/hadoop-3.3.1/bin/hdfs namenode -format

2.4 启动Hadoop集群

启动NameNode和DataNode：

/opt/hadoop-3.3.1/sbin/start-dfs.sh

启动YARN：

/opt/hadoop-3.3.1/sbin/start-yarn.sh

3. 安装HBase

3.1 下载并解压HBase

wget https://archive.apache.org/dist/hbase/2.4.9/hbase-2.4.9-bin.tar.gz
tar -xzvf hbase-2.4.9-bin.tar.gz -C /opt

3.2 配置HBase

编辑/opt/hbase-2.4.9/conf/hbase-site.xml：

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://your-namenode:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>your-zookeeper1,your-zookeeper2,your-zookeeper3</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/var/lib/zookeeper</value>
    </property>
</configuration>

编辑/opt/hbase-2.4.9/conf/hbase-env.sh：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export HBASE_MANAGES_ZK=false

4. 启动HBase集群

启动HBase Master：

/opt/hbase-2.4.9/bin/start-hbase.sh

5. 验证HBase集群

访问HBase Web UI：

http://your-hbase-master:16010/master-status

使用HBase shell验证：

/opt/hbase-2.4.9/bin/hbase shell

在HBase shell中执行以下命令：

list

这将列出所有表。

6. 配置防火墙

确保防火墙允许HBase所需的端口：

sudo firewall-cmd --permanent --zone=public --add-port=16010/tcp
sudo firewall-cmd --permanent --zone=public --add-port=16020/tcp
sudo firewall-cmd --permanent --zone=public --add-port=16030/tcp
sudo firewall-cmd --permanent --zone=public --add-port=2181/tcp
sudo firewall-cmd --reload

7. 配置自动故障转移

确保Zookeeper集群配置了自动故障转移。

总结

以上步骤涵盖了在CentOS上部署HBase集群的基本过程。根据实际需求，可能需要进一步调整配置和优化性能。

0 赞

0 踩