在 Debian 上部署 HBase 集群的关键注意事项
一 基础环境与系统准备
- 选择受支持的 Java 版本（Java 8 或 Java 11），安装后统一验证：java -version；在 hbase-env.sh 中显式设置 JAVA_HOME（如：/usr/lib/jvm/default-java）。
- 建议使用 专用系统用户 hbase 运行进程，便于权限隔离与审计；如使用 HDFS，将 hbase 用户加入 supergroup，避免权限问题（groupadd supergroup；usermod -aG supergroup hbase）。
- 全集群 NTP 时间同步，避免因时钟漂移导致 Region 分裂、ZooKeeper 会话异常。
- 规划目录与权限：为 HBASE_LOG_DIR、hbase.rootdir 等预建目录并赋权（如 /data/logs/hbase、/var/lib/hbase），确保运行用户可写。
二 与 Hadoop 和 ZooKeeper 的集成
- 使用外部 ZooKeeper 集群 更利于生产稳定与统一治理：在 hbase-env.sh 设置 HBASE_MANAGES_ZK=false，在 hbase-site.xml 配置 hbase.zookeeper.quorum（如：zk1,zk2,zk3），zk 数据目录使用 hbase.zookeeper.property.dataDir。
- 正确设置 hbase.rootdir：
- 非 HA：hdfs://namenode:8020/hbase
- HDFS HA：hdfs:///hbase（依赖 HDFS 的 nameservice 配置）
- 让 HBase 读取 HDFS 客户端配置：在 hbase-env.sh 设置 HBASE_CLASSPATH=$HADOOP_CONF_DIR，避免副本数、HA 等策略不一致。
- 启动顺序建议：ZooKeeper → HDFS → HBase；HBase 启动脚本可用 start-hbase.sh。
三 网络与防火墙
- 开放必要端口（示例为常见端口范围，按实际部署调整）：
- HBase Master Web UI：16010
- HBase Master RPC：16000
- RegionServer：16020（RPC）、16030（Web）
- ZooKeeper：2181（客户端）
- 如使用 UFW：sudo ufw allow 16000:16030/tcp；sudo ufw allow 2181/tcp。
- 保证 主机名可解析（/etc/hosts 或 DNS），并在所有节点间配置 SSH 免密，便于脚本化启停与维护。
四 配置与性能调优要点
- 内存与 GC：在 hbase-env.sh 合理设置 HBASE_HEAPSIZE（如 4G/8G），结合 CMS/G1 GC 参数减少停顿。
- 文件句柄与进程数：在 /etc/security/limits.conf 提升 nofile 与 nproc（如 hbase soft/hard nofile 32768），并确认 systemd 服务段或 /etc/security/limits.d/ 配置生效。
- WAL 与 MemStore：根据写入压力调整 hbase.regionserver.hlog.durable.sync（WAL 落盘策略）、hbase.hregion.memstore.flush.size、hbase.hregion.memstore.block.multiplier，减少写放大与阻塞。
- 压缩与块缓存：列族启用 COMPRESSION（如 SNAPPY/LZO），合理设置 BLOCKCACHE 与 IN_MEMORY 策略，权衡读性能与内存占用。
- HDFS 侧：确保 dfs.replication 与 dfs.blocksize 与业务访问模式匹配（大表可适当增大块大小以减少寻址开销）。
五 运维与验证
- 常用检查：
- HBase Shell：status 查看集群健康；list 查看表；scan ‘hbase:meta’ 验证元数据连通性。
- Web UI：访问 http://:16010 查看 Master 与各 RegionServer 状态、负载与日志入口。
- 日志与问题定位：
- 关注 HBASE_LOG_DIR 下的 master.log、regionserver.log；异常多与 ZK 会话、HDFS 权限/空间、网络分区相关。
- 常见修复：校正 hbase.rootdir 的权限与路径、同步系统时间、检查防火墙/安全组、复核 ZooKeeper 地址与端口连通性。