HBase集群如何安装

发布时间:2021-11-12 14:43:02 作者:小新
来源:亿速云 阅读:185
# HBase集群如何安装

## 目录
1. [前言](#前言)
2. [环境准备](#环境准备)
   - [硬件要求](#硬件要求)
   - [软件依赖](#软件依赖)
   - [网络配置](#网络配置)
3. [基础环境搭建](#基础环境搭建)
   - [JDK安装](#jdk安装)
   - [Hadoop集群配置](#hadoop集群配置)
   - [ZooKeeper集群部署](#zookeeper集群部署)
4. [HBase集群安装](#hbase集群安装)
   - [下载与解压](#下载与解压)
   - [配置文件修改](#配置文件修改)
   - [集群分发](#集群分发)
5. [集群启动与验证](#集群启动与验证)
   - [启动顺序](#启动顺序)
   - [状态检查](#状态检查)
   - [基础测试](#基础测试)
6. [高级配置](#高级配置)
   - [RegionServer调优](#regionserver调优)
   - [HDFS集成优化](#hdfs集成优化)
   - [安全配置](#安全配置)
7. [常见问题解决](#常见问题解决)
8. [总结](#总结)

---

## 前言
HBase作为Apache Hadoop生态中的重要分布式数据库,以其高可靠性、高性能和列式存储特性被广泛应用于大数据领域。本文将详细介绍从零开始搭建HBase集群的全过程,包含环境准备、组件配置、调优建议及故障排查等内容。

---

## 环境准备

### 硬件要求
| 角色          | 最低配置                     | 生产环境建议               |
|---------------|-----------------------------|---------------------------|
| Master        | 4核CPU, 8GB内存, 100GB磁盘  | 8核CPU, 32GB内存, SSD存储 |
| RegionServer  | 8核CPU, 16GB内存, 1TB磁盘   | 16核CPU, 64GB内存, JBOD   |
| Zookeeper     | 2核CPU, 4GB内存, 100GB磁盘  | 4核CPU, 8GB内存, SSD      |

### 软件依赖
- **操作系统**: CentOS 7+/Ubuntu 18.04 LTS
- **Java**: JDK 1.8+ (推荐OpenJDK 11)
- **Hadoop**: 2.7+ (推荐3.3.4)
- **ZooKeeper**: 3.4.6+ (推荐3.7.1)
- **SSH**: 所有节点需配置免密登录

### 网络配置
1. 修改主机名:
   ```bash
   hostnamectl set-hostname master01
  1. 配置/etc/hosts:
    
    192.168.1.101 master01
    192.168.1.102 worker01
    192.168.1.103 worker02
    
  2. 禁用防火墙:
    
    systemctl stop firewalld
    systemctl disable firewalld
    

基础环境搭建

JDK安装

# 下载JDK11
wget https://download.java.net/openjdk/jdk11/ri/openjdk-11+28_linux-x64_bin.tar.gz

# 解压并配置环境变量
tar -zxvf openjdk-11+28_linux-x64_bin.tar.gz -C /usr/local/
echo 'export JAVA_HOME=/usr/local/jdk-11' >> /etc/profile
echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile
source /etc/profile

Hadoop集群配置

  1. 修改core-site.xml:
    
    <property>
     <name>fs.defaultFS</name>
     <value>hdfs://master01:9000</value>
    </property>
    
  2. 配置hdfs-site.xml:
    
    <property>
     <name>dfs.replication</name>
     <value>3</value>
    </property>
    

ZooKeeper集群部署

  1. 修改zoo.cfg:
    
    server.1=master01:2888:3888
    server.2=worker01:2888:3888
    server.3=worker02:2888:3888
    
  2. 创建myid文件:
    
    echo "1" > /data/zookeeper/myid
    

HBase集群安装

下载与解压

wget https://archive.apache.org/dist/hbase/2.4.11/hbase-2.4.11-bin.tar.gz
tar -zxvf hbase-2.4.11-bin.tar.gz -C /usr/local/
ln -s /usr/local/hbase-2.4.11 /usr/local/hbase

配置文件修改

  1. hbase-env.sh:
    
    export JAVA_HOME=/usr/local/jdk-11
    export HBASE_MANAGES_ZK=false
    
  2. hbase-site.xml:
    
    <property>
     <name>hbase.rootdir</name>
     <value>hdfs://master01:9000/hbase</value>
    </property>
    <property>
     <name>hbase.cluster.distributed</name>
     <value>true</value>
    </property>
    <property>
     <name>hbase.zookeeper.quorum</name>
     <value>master01,worker01,worker02</value>
    </property>
    
  3. regionservers文件:
    
    worker01
    worker02
    

集群分发

scp -r /usr/local/hbase-2.4.11 worker01:/usr/local/
scp -r /usr/local/hbase-2.4.11 worker02:/usr/local/

集群启动与验证

启动顺序

  1. 启动ZooKeeper:
    
    zkServer.sh start
    
  2. 启动HDFS:
    
    start-dfs.sh
    
  3. 启动HBase:
    
    start-hbase.sh
    

状态检查

  1. Web UI访问:
  2. 命令行验证:
    
    hbase shell
    > status
    > list
    

高级配置

RegionServer调优

<!-- hbase-site.xml -->
<property>
  <name>hbase.regionserver.handler.count</name>
  <value>30</value>
</property>
<property>
  <name>hbase.hregion.memstore.flush.size</name>
  <value>134217728</value>
</property>

HDFS集成优化

<property>
  <name>dfs.client.read.shortcircuit</name>
  <value>true</value>
</property>

常见问题解决

  1. 端口冲突
    
    netstat -tunlp | grep 16020
    
  2. HDFS权限问题
    
    hdfs dfs -chmod -R 777 /hbase
    
  3. RegionServer启动失败: 检查日志:
    
    tail -100 /usr/local/hbase/logs/hbase-*-regionserver-*.log
    

总结

通过本文的详细步骤,您应该已经成功搭建了HBase集群。建议在生产环境中: 1. 配置监控系统(如Prometheus+Granafa) 2. 定期进行压缩和Region合并 3. 实施完善的备份策略

注:本文基于HBase 2.4.11版本编写,其他版本可能存在配置差异。完整安装脚本可参考GitHub仓库 “`

该文档包含: - 完整安装流程(从环境准备到验证) - 关键配置示例(XML/Shell命令) - 生产环境建议 - 故障排查方法 - 格式化的技术参数表格 - 符合Markdown规范的结构

实际使用时可根据具体环境调整IP地址、路径等参数。建议配合官方文档食用更佳。

推荐阅读:
  1. HBase安装
  2. hbase的集群搭建

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

hbase

上一篇:CentOS 7下如何安装集群Zookeeper-3.4.9

下一篇:Django中的unittest应用是什么

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》