Debian 上 HBase 资源管理实践
一 概览
在 Debian 环境中，HBase 的资源管理可从四个层面落地：基于 Quotas 的限流、请求队列与优先级调度、JVM 与堆内存/G1 GC 的调优、以及存储与压缩策略。通过这些手段，可以在多租户场景下实现吞吐隔离、避免大作业饿死小作业、稳定 GC 停顿并提升磁盘利用率。
二 限流与多租户隔离 Quotas
- 启用与生效
- 版本要求：HBase ≥ 1.1.0（或打补丁）。在 hbase-site.xml 中开启：hbase.quota.enabled=true，并重启 HMaster 生效。
- 刷新周期：配额变更默认约 5 分钟 生效，可通过 hbase.quota.refresh.period 调整（如设为 60000 ms）。
- 常用命令
- 限制表 t1 的总读吞吐为每秒 1000 次请求：
set_quota TYPE => THROTTLE, TABLE => ‘t1’, LIMIT => ‘1000req/sec’
- 限制用户 u1 的写吞吐为每秒 10MB：
set_quota TYPE => THROTTLE, THROTTLE_TYPE => WRITE, USER => ‘u1’, LIMIT => ‘10M/sec’
- 查看配额：list_quotas
- 关键特性与注意
- 支持按 USER / TABLE（及组合）限流；维度支持 READ/WRITE 与 req/time 或 size/time（单位如 sec/min/hour/day、B/K/M/G/T/P）。
- 配额限制按 单个 RegionServer 计算，并非全集群汇总；超限请求会被拒绝（日志级别通常为 DEBUG）。
三 请求调度与队列优先级
- 队列演进：早期 FIFO 易被大 Scan 阻塞；自 0.99 起默认使用 Deadline 队列，读写队列分离，且读优先于写，并为请求设置处理期限，避免长作业饿死短作业。
- 队列与读写分离调参（示例）
- 调整读/Scan 队列占比：
hbase.ipc.server.callqueue.read.ratio（读队列占比）
hbase.ipc.server.callqueue.scan.ratio（Scan 队列占比）
- 增大 RPC 超时以应对慢查询/慢 Scan：
hbase.rpc.timeout（默认 60000 ms）
四 JVM 堆内存与 GC 策略
- 堆大小与容器资源
- 在 hbase-env.sh 设置 HBASE_HEAPSIZE 与 HBASE_REGIONSERVER_OPTS（如 -Xms8G -Xmx8G），避免 swap，按节点内存与负载调优。
- GC 选择
- 堆小于 4GB：使用 gencon 策略（如：-Xms3G -Xmx3G -Xgcpolicy:gencon）。
- 堆大于 4GB：使用 balanced 策略（如：-Xms8G -Xmx8G -Xgcpolicy:balanced）。
- 说明
- 在 Debian 上通常通过包安装或手动部署后编辑 /opt/hbase/conf/hbase-env.sh 进行上述设置；如使用 Ambari/Cloudera Manager，可在其界面中修改并重启服务。
五 存储与压缩策略
- 存储与压缩
- 开启列族压缩（如 SNAPPY/LZO/ZSTD）可显著降低磁盘占用并提升 I/O 效率；对冷热数据可采用差异化压缩与块大小策略。
- 空间回收与维护
- 删除不再使用的表释放空间：disable ‘t’; drop ‘t’。
- 通过周期性 Major Compaction 回收删除/过期数据；必要时调整 hbase.hregion.majorcompaction（如设为 0 暂停自动合并，改为业务低峰窗口或产品提供的周期/时段触发）。
- 注意事项
- Major Compaction 资源开销大，建议错峰执行并控制并发，避免影响在线业务。