离线数据同步神器:DataX,支持几乎所有异构数据源的离线同步到MaxCompute

发布时间:2020-08-11 21:00:31 作者:许此一生
来源:ITPUB博客 阅读:402
概述

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件,理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

离线数据同步在大数据分析,数据备份,数据同步等应用场景中都会被用到,所以本文特别介绍阿里开源的这款神器:DataX!

准备工作
  1. 环境准备:Linux服务器一台,安装有JDK8,maven和python 2.6+;

  2. 下载源码:https://github.com/alibaba/DataX.git

  3. 解压后编译源码: mvn -U clean package assembly:assembly -Dmaven.test.skip=true

出现以下信息,表示编译成功(编译时间稍长,由于DataX支持的数据源很多,对应的依赖包也比较多,所以可能需要20min左右编译时间,具体视下载速度和机器性能而定):

离线数据同步神器:DataX,支持几乎所有异构数据源的离线同步到MaxComputecdn.com/fb3a20a220799ae3b890ea64cdd2f86d5cd2e430.png">

常见错误:

工具使用

成功编译DataX后,在 cd target/datax/datax/ 目录下就会生成可执行文件,我们就可以来使用DataX同步各种格式的离线数据(具体看参考:https://github.com/alibaba/DataX/blob/master/userGuid.md),如下:

离线数据同步神器:DataX,支持几乎所有异构数据源的离线同步到MaxCompute

不在这个表格中的数据源格式你可以通过自定义插件编写,具体编码可参考:https://github.com/alibaba/DataX/blob/master/dataxPluginDev.md

比如我们实现一个最简单的任务,将JSON格式化数据输出到控制台:

  1. 切换目录: cd target/datax/datax/bin ,比如在我们的192.168.1.63的服务器,切换到目录: /home/data-transfer/datax/target/datax/datax/bin

  2. 查看配置格式命令: python datax.py -r streamreader -w streamwriter

  3. 编写配置文件,stream2stream.json文件如下:



 1

{

2    "job" : {
3      "content" : [
4       {
5          "reader" : {
6            "name" "streamreader" ,
7            "parameter" : {
8              "sliceRecordCount" 10 ,
9              "column" : [
10               {
11                  "type" "long" ,
12                  "value" "10"
13               },
14               {
15                  "type" "string" ,
16                  "value" "hello,你好,世界-DataX"
17               }
18             ]
19           }
20         },
21          "writer" : {
22            "name" "streamwriter" ,
23            "parameter" : {
24              "encoding" "UTF-8" ,
25              "print" true
26           }
27         }
28       }
29     ],
30      "setting" : {
31        "speed" : {
32          "channel" 5
33        }
34     }
35   }
36 }
  1. 运行脚本: python datax.py ./stream2stream.json ,执行后控制台输出: 离线数据同步神器:DataX,支持几乎所有异构数据源的离线同步到MaxCompute

再比如mysql到mysql的离线数据同步,可使用:
python datax.py -r mysqlreader -w mysqlwriter  获取配置文件模板;

更多的writer可参看plugins目录下的writer文件夹 (官方默认包含的Writer,支持自定义可扩展)

离线数据同步神器:DataX,支持几乎所有异构数据源的离线同步到MaxCompute

更多的reader可参看 plugins目录下的reader文件夹 (官方默认包含的Reader,支持自定义可扩展):

离线数据同步神器:DataX,支持几乎所有异构数据源的离线同步到MaxCompute


注:如果要使用离线增量同步数据,可指定配置文件中的where过滤;


推荐阅读:
  1. Kettle+MongoDB 数据同步到MySQL
  2. 删除离线DC

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

datax maxcompute 异构

上一篇:榕力远程管理系统

下一篇:MHA故障切换脚本master_ip_failover结合VIP

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》