Ubuntu环境下管理HBase存储空间的实用指南
一 容量评估与规划
- 明确容量公式：在给定磁盘容量下，可承载的 Region 数量近似为 Disk Size / RegionSize；在给定堆内存下，可承载的 Region 数量近似为 Java Heap × HeapFractionForMemstore / MemstoreSize。为匹配 Region 分裂与负载均衡，建议将单 Region 控制在10–30 GB区间。结合压缩与副本策略，容量估算需同时考虑存储与计算资源。
- 关键参数与推荐范围：
- hbase.hregion.max.filesize：Region 分裂阈值，建议10–30 GB（默认10 GB）。
- hbase.regionserver.global.memstore.size：MemStore 占堆上限，建议0.3–0.4（默认0.4）。
- hbase.hfile.block.cache.size：读缓存占堆比例，建议0.2–0.4（默认0.2）。
- 注意：MemStore 与 BlockCache 占堆比例之和不宜超过80–90%，以降低 OOM 风险。
二 日常运维与空间回收
- 清理过期数据：为表设置 TTL（Time-To-Live），让过期数据自动过期并由 Major Compaction 回收空间；在 HBase Shell 中可使用 alter 设置 TTL，例如保留36 小时可设为129600 秒。
- 触发压缩：对空间紧张或删除大量数据后的表执行 major_compact ‘table_name’，合并 HFile、清理已删除/过期 Key，回收物理空间。
- 删除不再使用的表：先 disable ‘table_name’，再 drop ‘table_name’，并同步清理备份/归档数据，避免残留占用。
- 清理系统日志：定期归档或清理 HBase 与 Hadoop 的日志目录（如 /var/log/hbase/、/var/log/hadoop/），避免日志无限增长挤占数据盘。
三 存储架构与扩容
- 本地 HDFS 场景：检查 HDFS 使用（如 hdfs dfs -df -h），必要时为 DataNode 扩容磁盘或增加节点，并调整 HDFS 副本数（dfs.replication） 与 Region 分裂阈值（hbase.hregion.max.filesize） 以匹配容量与负载。
- 对象存储扩展：将 OSS-HDFS 作为底层存储，实现存储与计算分离，可显著缓解本地盘容量压力。关键步骤：
- 部署 JindoSDK 到所有节点并设置 JINDOSDK_HOME / HADOOP_CLASSPATH；
- 在 core-site.xml 配置 OSS 实现类与 AccessKey/Endpoint；
- 支持将 WAL 写入 OSS-HDFS，提升弹性与运维效率。
四 监控与参数调优
- 容量与水位监控：在 Ubuntu 上使用 df -h 观察数据盘使用；在 HBase 中关注 StoreFile 数量、Compaction 排队、MemStore 使用 等指标，提前触发 Major Compaction 或扩容。
- 堆与缓存调优：结合读写比例调整 hbase.regionserver.global.memstore.size 与 hbase.hfile.block.cache.size，确保两者之和不超过80–90%；读写均衡时可取 0.3/0.3 左右，写多读少可适当提高 MemStore 比例。
- Region 与分裂策略：将 hbase.hregion.max.filesize 设为10–30 GB，避免过小导致过多小文件与频繁 Compaction，过大则影响均衡与恢复时间。
五 应急与风险提示
- 空间满时的应急顺序：优先清理过期/无用数据与日志 → 对关键表执行 major_compact → 临时扩容磁盘或增加节点 → 仍不足时启用 OSS-HDFS 等外部存储。
- 严禁粗暴操作：不要直接 rm -rf /hbase/data 或删除 HDFS 数据目录；这类操作会导致 数据丢失 且难以恢复。
- 变更前务必：对重要表与集群做好备份，并在低峰期执行 disable/drop/major_compact 等高风险操作。