CentOS 上提升 HBase 查询性能的系统化做法
一 系统层与硬件层优化
- 资源与存储：优先使用 SSD/NVMe、保证充足内存与 万兆/更高速网络，以降低 I/O 与网络瓶颈。
- 文件句柄与网络栈：提升进程可打开文件数（如 ulimit -n 65535），增大 TCP 缓冲区（如 net.core.rmem_max/wmem_max=16777216），可按需开启 TCP_FASTOPEN=3，减少连接建立与传输时延。
- 虚拟内存与 swap：将 vm.swappiness 设为 0，避免查询路径上的 swap 抖动。
- JVM 建议：RegionServer 堆大小控制在物理内存的 50%–70%，优先选用 G1 GC 并设定目标停顿（如 -XX:MaxGCPauseMillis=200），降低 GC 对查询尾时延的影响。
二 HBase 配置参数要点
- 缓存与内存：读多写少场景将 BlockCache 占比提升到堆的约 40%（如 hfile.block.cache.size=0.4）；如版本支持，可开启 OffHeap 缓存（如 hbase.offheapcache.percentage）以减轻 GC 压力。
- 读写路径平衡：合理设置 hbase.regionserver.global.memstore.size（如 0.3–0.4），避免全局 flush 阻塞读；WAL 采用高效编码（如 IndexedWALEditCodec）降低写放大对读的干扰。
- 并发与处理：适度提升 hbase.regionserver.handler.count 以匹配并发查询，避免线程饥饿；结合业务压测逐步调优。
- Region 与文件组织：按数据量与访问模式调整 hbase.hregion.max.filesize，避免过大或过小 Region 引发的抖动；通过 预分区 分散热点；合理选择 Compaction 策略（Minor/Major 组合）控制 StoreFile 数量。
- 存储与压缩：启用 Snappy 等压缩减少 I/O 与网络传输；结合 HDFS 块大小/副本数 优化底层吞吐。
三 表与 RowKey 设计
- RowKey 避免热点：采用 散列（MD5/哈希）、反转 或 加盐 打散前缀，保证 Region 均衡；将高频查询条件置于 RowKey 前缀 以充分利用有序扫描。
- 列族控制：将 ColumnFamily 数量控制在 2–3 个，减少 I/O 与元数据开销；为列族设置合适的 压缩 与 TTL，清理过期数据。
- 索引与查询：对非 RowKey 条件，使用 协处理器 或 Phoenix 构建二级索引；对大表创建 布隆过滤器（Bloom Filter） 减少不必要的磁盘读取。
- 版本控制：按业务保留必要版本数（如 hbase.hcolumn.max.versions），避免无谓读取与存储。
四 客户端访问与查询优化
- 减少 RPC 次数：对大范围扫描提升 Scan 缓存（如由默认 100 调至 500–1000）；对多行读取使用 批量 Get；查询时 显式指定列族/列 避免投影膨胀。
- 缓存策略：离线/批量读取可 禁用 BlockCache，避免挤占在线热点数据；在线点查依赖 BlockCache 提升命中率。
- 过滤器与扫描：合理使用 PrefixFilter/列值/行键范围过滤器，尽早裁剪结果集；尽量使用 StartRow/StopRow 限定扫描窗口。
五 监控 维护与压测闭环
- 监控与诊断：利用 HBase Master UI、JMX、Ganglia/Prometheus 观察读写延迟、BlockCache 命中率、Region 分布与慢查询；结合日志定位异常。
- 负载均衡与分裂：确保 读请求在 RegionServer 间均衡，避免单点过载；必要时 手动 Split 替代频繁自动分裂，降低抖动。
- 文件与压缩：持续监控 HFile 数量，通过 Compaction 合并小文件；保持 压缩 与 HDFS 参数与数据访问模式匹配。
- 压测迭代：任何参数变更先在测试环境验证，观察 延迟/吞吐/GC/抖动 再推广生产，形成闭环调优。