Debian环境下HBase性能调优技巧
/etc/sysctl.conf文件，增大文件描述符限制（fs.file-max=1000000）、优化TCP窗口大小（net.core.rmem_max=16777216、net.core.wmem_max=16777216）、关闭交换区（vm.swappiness=0，避免内存与磁盘交换影响性能）；挂载文件系统时使用noatime或relatime选项（减少磁盘I/O操作）。-f参数强制格式化，挂载时禁用压缩（-o compress=no）。hbase.regionserver.heapsize，建议≥32G），合理分配BlockCache（hbase.regionserver.blockcache.size，读多写少场景建议占堆内存的50%-70%）和MemStore（hbase.regionserver.global.memstore.size，建议≤25%，避免频繁flush）大小；开启MSLAB功能（hbase.hregion.memstore.mslab.enabled=true，减少内存碎片化，降低Full GC频率）。hbase.hregion.max.filesize设置Region大小（推荐5GB-20GB，平衡负载均衡与管理开销）；增加RegionServer处理线程数（hbase.regionserver.handler.count，建议≥100，应对高并发请求）；调整写入缓冲区大小（hbase.client.write.buffer，建议2MB-4MB，减少RPC调用次数）。hbase.regionserver.compression.codec，推荐Snappy，兼顾压缩率与速度），减少磁盘存储空间与I/O开销；为列族设置Bloom Filter（hbase.regionserver.bloom.block.size，建议256MB，类型选ROW或ROWCOL，快速过滤不存在的数据，提升查询效率）。hbase shell的create命令或Java API预先定义Region数量（如splitKeys参数），使数据均匀分布到多个Region，避免后续数据增长导致Region分裂引发的性能波动。PutList）与批量读取（Scan）接口，将多个操作合并为一个RPC调用，减少网络开销；批量写入缓冲区大小建议设置为2MB-4MB（hbase.client.write.buffer），批量读取Scan缓存大小建议设置为500-1000（hbase.scan.cacheblock）。hbase.scan.cacheblock，大Scan场景建议≥500），减少RPC次数；指定列族（addFamily）或列（addColumn），避免全表扫描；禁用离线批量读取的缓存（setCacheBlocks(false)），避免大量数据进入缓存影响实时业务热点数据。hbase.client.write.buffer设为0），减少写入延迟；调整WAL刷写策略（hbase.regionserver.optionallogflushinterval，建议≤1000ms），平衡数据安全性与写入性能。-XX:+UseConcMarkSweepGC），堆内存≥32G时使用G1（-XX:+UseG1GC）；设置新生代与老年代比例（如-XX:NewRatio=2，新生代占堆内存的1/3），优化对象分配与回收效率。-Xloggc:/path/to/gc.log），分析GC停顿时间；调整CMS触发阈值（-XX:CMSInitiatingOccupancyFraction=70，老年代占用70%时触发GC），减少Full GC次数；G1GC设置暂停时间目标（-XX:MaxGCPauseMillis=200，目标暂停时间≤200ms），保证系统响应速度。status、hlog、table_help）查看集群健康状况与表信息。iostat（监控磁盘I/O）、vmstat（监控内存与CPU）等工具分析系统性能。echo "major_compact 'table_name'" | hbase shell），合并小文件，减少StoreFile数量（提升查询效率）；清理无用数据（如过期表、旧版本数据），释放存储空间；备份HBase数据（使用hbase snapshot或HDFS快照），防止数据丢失。