Debian上HBase数据迁移步骤

Debian上HBase数据迁移步骤

一 迁移方案速选

• ExportSnapshot（推荐）：对线上影响小、速度快，适合大多数迁移；先快照再跨集群拷贝HFile，最后恢复表。
• CopyTable：基于MapReduce全表扫描复制，适合中小规模或需要按时间/行范围迁移；跨集群需配置**–peer.adr**。
• Export/Import：先Export为SequenceFile到HDFS，再Import到目标表；便于跨版本或离线归档。
• DistCp + BulkLoad：源集群停写并flush后用DistCp拷贝HFile，目标集群用LoadIncrementalHFiles导入；适合历史表或可接受短暂停写的场景。
• Replication：基于WAL的异步复制，适合持续同步/双活，非一次性迁移。以上方案在Debian环境下的命令与流程一致，关键在于HDFS网络可达与权限配置。

二 准备与环境检查

• 在两套集群的Debian节点上准备同版本的HBase客户端，配置好HBASE_HOME、HADOOP_HOME，并将hbase-site.xml中的ZooKeeper地址指向各自集群；确保运行用户（如hbase/hdfs）具备相应HDFS与HBase权限。
• 打通网络与权限：开放集群间端口（如2181/16000/16010/16020等）、设置DNS/hosts解析、启用Kerberos（若启用需kinit）、保证源/目标HDFS互通与配额充足。
• 一致性准备：对停机或近实时迁移，先在源集群执行flush ‘table’；若采用CopyTable/Export/Import，尽量在业务低峰期执行。

三 推荐方式 ExportSnapshot 步骤

1. 源集群创建快照
   hbase shell> snapshot ‘mytbl’, ‘mytbl_snap’
2. 使用ExportSnapshot跨集群拷贝快照到目标HDFS
   hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot
   -snapshot mytbl_snap
   -copy-from hdfs://src-nn:8020/hbase
   -copy-to hdfs://dst-nn:8020/hbase
   -mappers 16 -bandwidth 50
3. 目标集群从快照恢复表
   hbase shell> restore_snapshot ‘mytbl_snap’
4. 可选：合并小文件提升查询性能
   hbase shell> major_compact ‘mytbl’
5. 校验
   • 表结构：hbase shell> describe ‘mytbl’
   • 数据量：hbase shell> count ‘mytbl’, {CACHE=>10000}
     说明：ExportSnapshot只拷贝HFile的引用与元数据，对线上影响小，适合生产环境。

四 其他方式关键命令

• CopyTable（跨集群示例）
  hbase org.apache.hadoop.hbase.mapreduce.CopyTable
  –peer.adr zk1,zk2,zk3:/hbase
  -Dhbase.client.scanner.caching=300
  -Dmapred.map.tasks.speculative.execution=false
  mytbl 说明：适合中小规模；可通过startrow/stoprow/starttime/endtime/families做范围迁移；跨集群需正确配置ZK地址。
• Export/Import（离线/跨版本友好）
  源集群导出：
  hbase org.apache.hadoop.hbase.mapreduce.Export mytbl hdfs://dst-nn:8020/mytbl_export
  目标集群导入（需先建表且列族一致）：
  hbase org.apache.hadoop.hbase.mapreduce.Import mytbl hdfs://dst-nn:8020/mytbl_export
  说明：Export会全表扫描生成SequenceFile，Import再写入目标表；适合跨版本或需要中间文件的场景。
• DistCp + BulkLoad（停机或近实时窗口）
  1. 源集群停写并flush：flush ‘mytbl’
  2. 拷贝HFile：
     hadoop distcp hdfs://src-nn:8020/hbase/data/default/mytbl
     hdfs://dst-nn:8020/hbase/data/default/mytbl_bak
  3. 目标集群导入：
     hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles
     hdfs://dst-nn:8020/hbase/data/default/mytbl_bak mytbl
  4. 校验：count/抽样scan。
     说明：速度快、对业务影响可控，但需短暂停写；适合历史表迁移。

五 校验与常见问题

• 校验清单
  • 元数据与region分布：hbase hbck；必要时执行hbase hbck -fixAssignments -fixMeta。
  • 数据量核对：count对比（注意缓存与耗时）；抽样scan验证关键行。
  • 版本与TTL：确认目标表VERSIONS/TTL与源表一致，避免查询差异。
• 常见问题与处理
  • 权限不足：为运行用户授予HDFS与HBase相应权限（如hbase:supergroup或ACL）。
  • 版本/兼容：跨大版本优先用Export/Import；CopyTable/Snapshot在跨版本时需谨慎验证。
  • 目标表未预分裂：大数据量导入前按源表start key分布预分裂，显著提升写入速度。
  • 云环境限制：部分云HBase默认不开放HDFS端口，基于HDFS的Snapshot/DistCp/BulkLoad不可用，可改用CopyTable。
  • 长时间运行任务稳定性：合理设置mappers、bandwidth、scanner caching，并关闭推测执行。