CentOS环境下HBase数据迁移方法

以下是CentOS环境下HBase数据迁移的常见方法及操作要点：

1. HBase Shell工具迁移

   • 导出/导入数据：通过export命令将表数据导出到HDFS，再通过import命令导入目标表。
   • 示例：

     # 源集群导出  
     hbase shell> export 'source_table' '/path/to/export'  
     # 目标集群导入  
     hbase shell> import 'target_table' '/path/to/export'  
     

2. HBase Export/Import工具

   • 基于MapReduce任务迁移数据，适合大规模数据。
   • 步骤：
     • 源集群执行hbase org.apache.hadoop.hbase.mapreduce.Export导出数据到HDFS。
     • 目标集群执行hbase org.apache.hadoop.hbase.mapreduce.Import从HDFS导入数据。

3. HBase Replication（复制）

   • 配置源集群与目标集群的复制关系，通过WAL日志同步增量数据，适合实时同步。
   • 操作：
     • 源集群添加复制对等体：hbase shell> add_peer 'peer1', 'zk1:2181:/hbase'。
     • 启用复制：hbase shell> start_replication 'peer1'。

4. HBase Snapshot（快照）

   • 通过快照备份表数据，支持跨集群迁移历史数据。
   • 步骤：
     • 源集群创建快照：hbase shell> snapshot 'table_name', 'snapshot_name'。
     • 使用hadoop distcp或手动拷贝快照文件到目标集群HDFS，再通过clone_snapshot恢复。

5. Hadoop DistCp工具

   • 适用于大规模HDFS数据迁移，可并行拷贝文件。
   • 命令示例：

     hadoop distcp hdfs://source-cluster/hbase/data/table hdfs://target-cluster/hbase/data/table  
     

6. CopyTable工具

   • 基于MapReduce迁移数据，支持指定行范围、列族等条件。
   • 命令示例：

     hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr='zk1:2181:/hbase' source_table target_table  
     

注意事项：

• 迁移前备份数据，确保目标集群配置与源集群一致。
• 大规模数据建议选择非业务高峰期操作，优先使用快照+复制的组合方案。
• 验证数据一致性，可通过hbase shell的scan命令对比源表与目标表数据。

参考来源：