Debian 环境下 HBase 数据迁移实操指南
一、迁移方式总览与选型
- Snapshot + ExportSnapshot（推荐）：对线上影响小、速度快，适合大多数迁移场景（含跨集群）。流程为：源集群创建快照 → 用 MR 将快照文件拷贝到目标 HDFS → 目标集群从快照恢复表。适合对业务影响敏感、需要快速切换的场景。
- DistCp + BulkLoad：先停写并 flush，直接拷贝底层 HFile 到目标 HDFS，再用 LoadIncrementalHFiles 导入。适合历史表或可接受短暂停写的场景，吞吐高。
- CopyTable：基于 MapReduce 的全表扫描复制，支持按时间/行范围/列族迁移，适合小中体量或需要在线增量追平的场景（对源集群有一定读压力）。
- Export/Import：先 Export 为 SequenceFile 再 Import 到目标表，便于跨版本迁移或离线落地，同样会全表扫描。
- Replication：类似 MySQL binlog 的异步复制，适合长期双活/近实时同步，需提前让两端数据一致后开启复制。
二、标准流程 Snapshot + ExportSnapshot（推荐）
- 前置检查
- 确认 Debian 主机到两端 HDFS/ZooKeeper 网络与权限（Kerberos 若启用需 kinit），两端 HBase 版本兼容，目标表结构（列族、TTL、压缩、预分区）与源表一致或在导入后调整。
- 建议对目标表先做 预分裂 以提升 BulkLoad/恢复性能。
- 源集群创建快照
- hbase shell
- snapshot ‘source_table’, ‘snap_20251205’
- 拷贝快照到目标 HDFS（MR 并行）
- 方式 A（推荐，自动定位 HBase 根目录）
- hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot
-snapshot snap_20251205
-copy-to hdfs://dst-nn:8020/hbase
-mappers 20 -bandwidth 50
- 方式 B（显式指定源/目标 HBase 根目录）
- hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot
-snapshot snap_20251205
-copy-from hdfs://src-nn:8020/hbase
-copy-to hdfs://dst-nn:8020/hbase
-mappers 20 -bandwidth 50
- 目标集群恢复表
- hbase shell
- disable ‘source_table’ # 若目标已存在同名表
- restore_snapshot ‘snap_20251205’
- enable ‘source_table’
- 校验
- hbase shell
- count ‘source_table’ # 行数对比
- scan ‘source_table’, {LIMIT => 10}
- 说明
- 若目标库名不同，可在恢复后用 snapshot 克隆 或 重命名表 的方式切换；快照是元数据级拷贝，实际 HFile 由 ExportSnapshot 通过 MR 拷贝。
三、其他方式速览与命令示例
- DistCp + BulkLoad（适合历史表/可接受停写）
- 停写与落盘
- hbase shell: flush ‘source_table’（必要时 disable 表）
- 拷贝 HFile
- hadoop distcp -m 50 hdfs://src-nn:8020/hbase/data/default/source_table
hdfs://dst-nn:8020/hbase/data/default/source_table
- 目标端导入
- hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles
hdfs://dst-nn:8020/hbase/data/default/source_table source_table
- 修复元数据（异常时使用）
- hbase hbck -fixMeta -fixAssignments
- CopyTable（在线迁移/小中体量）
- 目标表需先存在（结构一致）
- 全量
- hbase org.apache.hadoop.hbase.mapreduce.CopyTable
–peer.adr=zk1:2181,zk2:2181,zk3:2181:/hbase
source_table
- 按时间/行范围/列族
- hbase org.apache.hadoop.hbase.mapreduce.CopyTable
–peer.adr=zk1:2181,zk2:2181,zk3:2181:/hbase
-starttime=1700000000000 -endtime=1702592000000
-startrow=row1000 -stoprow=row2000
-families=cf1,cf2
source_table
- Export/Import（跨版本/离线）
- 导出
- hbase org.apache.hadoop.hbase.mapreduce.Export
source_table hdfs://dst-nn:8020/tmp/exp_source_table 1
- 导入（目标表需存在）
- hbase org.apache.hadoop.hbase.mapreduce.Import
source_table hdfs://dst-nn:8020/tmp/exp_source_table
- Replication（长期近实时）
- 两端同表结构后，在源端启用复制（示例为表级复制，需按实际配置）
- hbase shell: alter ‘source_table’, {METHOD => ‘table_att’, ‘REPLICATION_SCOPE’ => ‘1’}
- 在目标集群开启复制（配置 hbase.replication 等并重启），适合持续追平增量。
四、迁移前后校验与常见问题
- 校验清单
- 数据量：对比源/目标 count；抽样 scan 检查关键行/列族。
- 结构：列族、TTL、压缩、预分区是否一致；Region 分布是否均衡。
- 一致性：重要业务可做 checksum/hash 抽样比对；若使用 Replication，观察复制延迟与错误日志。
- 常见问题与处理
- 权限/认证：确保运行用户有 HDFS/HBase 权限；Kerberos 需 kinit 并配置 jaas.conf。
- 版本兼容：跨大版本优先考虑 Export/Import；同版本优先 Snapshot。
- 在线业务影响：CopyTable/Export/Import 会 scan，建议在低峰或限速；Snapshot 影响最小。
- 目标表不存在：Snapshot 恢复会自动建表；CopyTable/Export/Import 需先建表（结构一致/预分裂）。
- 元数据异常：使用 hbck -fixMeta -fixAssignments 修复；极端情况再考虑 -repair。
- 带宽控制：ExportSnapshot/DistCp 可用 -bandwidth/-mappers 限速与并行，避免影响线上。
- 云环境限制：部分云 HBase 默认不开放 HDFS 端口，基于 HDFS 的 DistCp/Snapshot 可能不可用，可改用 CopyTable。