ubuntu下hbase资源管理

Ubuntu下HBase资源管理实践指南

一 资源边界与系统前置

• 操作系统与基础环境：建议使用 Ubuntu 20.04/22.04 LTS，安装 OpenJDK 8（HBase 2.x 常用），并准备已可用的 HDFS（伪分布式或集群）。伪分布式环境适合学习/验证，资源评估与配置可参考实践文档。
• 文件句柄与进程数：HBase 高并发访问会打开大量文件，需提升系统限制。在 /etc/security/limits.conf 为运行 HBase 的用户（如 hbase/hadoop）设置：
  • hbase soft/hard nofile 32768
  • hbase soft/hard nproc 32000
    并在 /etc/pam.d/common-session 添加：session required pam_limits.so；修改后需重新登录生效。
• HDFS 服务端并发：在 hdfs-site.xml 提升 dfs.datanode.max.xcievers（或新版为 dfs.datanode.max.transfer.threads）至至少 4096，避免数据写入/读取时出现异常或块缺失。
• 时间同步：设置 NTP 保证节点间时间偏差在容忍范围内（如不超过 180000 ms），避免 HMaster/RegionServer 时钟漂移导致异常。

二 关键资源配置与调优

• 内存与堆：在 hbase-env.sh 设置 HBASE_HEAPSIZE（如 4G/8G），并合理分配 HMaster/RegionServer 堆；避免堆过大引发长时间 GC 停顿。
• 容器与压缩：在 hbase-site.xml 调整容器相关阈值（如 hbase.hregion.memstore.flush.size、hbase.hregion.memstore.block.multiplier）、WAL 策略与 压缩（如 SNAPPY）以平衡吞吐与恢复时间。
• 存储与副本：设置 hbase.rootdir 指向 HDFS（如 hdfs://namenode:9000/hbase），并结合集群规模设置 dfs.replication（生产建议 ≥ 3，伪分布式可设为 1）。
• ZooKeeper：若由 HBase 托管 ZK（HBASE_MANAGES_ZK=true），为 hbase.zookeeper.quorum 配置 奇数 个节点（如 3/5），并指定 hbase.zookeeper.property.dataDir 到持久目录。
• 高可用：部署 多 HMaster + ZooKeeper 仲裁，避免单点；HDFS 侧建议启用 NameNode HA（如 QJM/ZKFC）以保障上层 HBase 稳定性。

三 运行期监控与容量规划

• 进程与负载：使用 jps 检查 HMaster/RegionServer/HQuorumPeer 是否正常；通过 top/vmstat 观察 CPU、内存与 I/O。
• GC 与停顿：开启 GC 日志，关注 Full GC 频率与停顿；必要时调整堆大小或切换/优化 GC 策略。
• 存储与块：通过 HDFS dfsadmin -report 与 hdfs fsck / 查看容量、副本与块健康；结合 Region 数量与 StoreFile 大小评估 Compaction 压力。
• 表级指标：在 HBase Shell 使用 status ‘detailed’、table_help 与 scan ‘hbase:meta’ 检查表分布、Region 均衡与元数据一致性。
• 容量规划要点：按 数据总量 × 副本数 × 开销系数（1.2~1.5） 估算 HDFS 容量；结合 读写 QPS、Region 数、MemStore/BlockCache 命中率 规划 内存、CPU 与网络。

四 空间回收与卸载清理

• 安全释放空间（推荐）：优先通过 HBase 表/列族生命周期管理（如 TTL、过期数据自动清理、Major Compaction）与 Region 合并/分裂 回收空间；避免直接删除底层文件。
• 风险操作示例：如需快速回收磁盘，可在确保业务可停的前提下停止 HBase，清理其数据目录（如 /hbase/data），再启动服务；务必先做好 备份 与 确认无业务写入。
• 卸载 HBase（不再使用时）：
  • 停止服务：执行 ./bin/stop-hbase.sh 或 ./bin/hbase stop；
  • 删除安装目录：如 rm -rf /opt/hbase；
  • 清理配置：如 sudo rm -rf /etc/hbase；
  • 释放依赖：执行 sudo apt-get autoremove 清理无用包。
• 风险提示：直接删除 HDFS 上的 /hbase 目录可能导致 元数据损坏 与 数据不可恢复；生产环境务必按官方流程执行 disable/delete 表后再清理。