Debian Dolphin如何进行数据迁移

以下是在Debian系统上使用DolphinDB进行数据迁移的常见方法：

一、使用命令行工具迁移

1. 备份数据
   使用dolphin backup命令备份原数据目录到指定路径：

   dolphin backup -d /old/data/dir -o /backup/dir
   

2. 创建新库并迁移数据

   • 创建新库：dolphin create -d /new/data/dir
   • 迁移数据：dolphin migrate -s /backup/dir -d /new/data/dir

二、通过文件导入导出迁移

1. CSV文件迁移

   • 导出数据为CSV：使用saveText函数将表数据保存为CSV文件。
   • 导入数据：通过loadText或ploadText函数导入CSV文件到新库表中。

2. HDF5文件迁移

   • 保存数据为HDF5格式：saveHDF5函数。
   • 加载数据：loadHDF5函数。

三、跨数据库迁移（如PostgreSQL→DolphinDB）

1. ODBC连接迁移

   • 配置ODBC数据源，通过DolphinDB的ODBC接口直接读取外部数据库数据并导入。

2. DataX工具迁移

   • 部署DataX，配置JSON任务文件（指定源库、目标库及表映射），通过datax.py执行批量迁移。

四、集群环境数据迁移

若为DolphinDB集群，需迁移配置文件和数据目录：

1. 备份原集群配置文件（如cluster.cfg、controller.cfg）和数据目录。
2. 将配置和数据通过scp命令复制到新节点：

   scp -r /old/cluster/config /new/node/config
   scp -r /old/cluster/data /new/node/data
   

3. 修改新节点配置文件中的节点信息，重启集群服务。

注意事项

• 迁移前确保数据已备份，避免丢失。
• 大数据量迁移建议使用DataX或后台任务分块处理，避免内存溢出。
• 操作前参考官方文档确认版本兼容性：DolphinDB官方文档。