Debian HBase 配置有哪些要点

Debian 上部署 HBase 的配置要点

一 基础环境与前置检查

• 安装并验证 Java（推荐 OpenJDK 8/11）：sudo apt update && sudo apt install -y openjdk-11-jdk；java -version。设置环境变量：export HBASE_HOME=/usr/local/hbase；export PATH=$PATH:$HBASE_HOME/bin。确保 HDFS 已安装并运行（如已部署 Hadoop），HBase 才能写入 HDFS。若使用外部 ZooKeeper，需提前部署并可用。

二 核心配置文件与关键参数

• hbase-env.sh
  • 设置 JAVA_HOME（如：/usr/lib/jvm/default-java）。
  • 选择 ZooKeeper：export HBASE_MANAGES_ZK=false（使用外部 ZK，生产推荐）；true 表示由 HBase 自带 ZK（不建议生产）。
  • 让 HBase 读取 HDFS 配置：export HBASE_CLASSPATH=$HADOOP_CONF_DIR（推荐做法，避免复制 hdfs-site.xml）。
  • 日志目录：export HBASE_LOG_DIR=/data/logs/hbase（提前创建目录）。
• hbase-site.xml（示例要点）
  • 存储根目录：hdfs://namenode:8020/hbase（非 HA）；HDFS HA 使用 hdfs:///hbase。
  • 运行模式：true（分布式）。
  • ZooKeeper：zookeeper1,zookeeper2,zookeeper3；数据目录：/var/lib/zookeeper。
  • 本地临时目录：/mnt/dfs/11/hbase/hbase-tmp（避免落在 /tmp）。
  • 安全（可选，Kerberos）：开启 hbase.security.authentication=kerberos，并配置 hbase.master.kerberos.principal/keytab、hbase.regionserver.kerberos.principal/keytab。

三 集群与服务启动

• 分发配置到所有节点（保持 HBASE_HOME/conf 一致），在各节点设置好 HBASE_HOME/PATH。
• 启动方式
  • 使用外部 ZK：直接执行 $HBASE_HOME/bin/start-hbase.sh（会启动 HMaster 与 RegionServer）。
  • 使用内置 ZK：先 $HBASE_HOME/sbin/start-zookeeper.sh，再启动 HBase。
• 验证
  • Web UI：访问 http://:16010（HMaster Web）。
  • Shell：hbase shell 中执行 status 查看集群状态。

四 网络与防火墙

• 开放常用端口（示例，按实际端口规划调整）：
  • HBase Master Web：16010；HMaster RPC：16000。
  • HBase RegionServer Web：16030；RegionServer RPC：16020。
  • ZooKeeper：2181（客户端）、2888/3888（集群通信）。
  • HDFS（若同机或需直连）：如 50070/50075（NameNode/DataNode Web）、50010/50020（DataNode 数据传输）。
  • UFW 示例：sudo ufw allow 16000:16030/tcp；sudo ufw allow 2181:2186/tcp；按需放行 HDFS 端口。

五 性能与安全建议

• 内存与缓存
  • 写密集：提高 hbase.regionserver.global.memstore.size（如 0.5），降低 hfile.block.cache.size（如 0.25）。
  • 读密集：提高 hfile.block.cache.size（如 0.4），降低 global.memstore.size（如 0.3）。
  • 两者合计建议不超过 0.8，预留约 20% 给 JVM 元数据与缓存管理。
  • 启用堆外缓存：hbase.bucketcache.ioengine=offheap；hbase.bucketcache.size=2G（示例）。
• 存储与合并
  • 通用：hbase.hstore.compaction.strategy=exploring。
  • 时序：hbase.hstore.compaction.strategy=fifo；配合 hbase.hstore.compaction.min.size（如 128MB）。
  • BloomFilter：hfile.bloom.enabled=true；hfile.bloom.error.rate=0.01（默认）。
• 并发与超时
  • Handler 线程：hbase.regionserver.handler.count（如 100，按 CPU 核数调优，避免超过 200）。
  • RPC 与扫描：hbase.rpc.timeout（如 60000）；hbase.client.scanner.timeout.period（如 300000）。
• 安全
  • 启用 Kerberos 认证与授权（hbase.security.authentication/authorization），并正确配置 principal/keytab 文件与权限。