DataPipeline丨「自定义」数据源,解决复杂请求逻辑

发布时间:2020-03-01 12:20:17 作者:DataPipeline
来源:网络 阅读:171

DataPipeline丨「自定义」数据源,解决复杂请求逻辑

A公司专注为各种规模和复杂程度的金融投资机构提供一体化投资管理系统,系统主要由投资组合管理、交易执行管理、实时监控管理、风险管理等功能模块构成。随着企业管理产品数量的不断增多,大量数据分散在各券商系统中且数据存储格式各异,难以管理和利用。

为帮助投资机构最大限度地提高投资决策和运营效率,A公司需要实时监控自己的用户在各个交易平台的基本信息、余额、订单交易情况,并根据分析结果及时给出投资建议。

A公司的这种情况并不是个例。目前,越来越多的企业在数据传输的需求场景中,除了从上游不同业务数据库中实时、定时分配到下游系统之外,还有许多需求场景需要从外部合作商、供应商中获取业务数据。

如果想要每天从企业外部系统中获取数据,通常会采用什么方法呢

一些用户给出的答案是:根据需要编写不同的脚本,手动调用第三方系统提供的API接口,在抓取数据后,自行编写清洗逻辑,最后实现数据落地。

然而随着第三方系统的日益增多,如果按原有方式会带来过多的脚本维护成本和数据传输任务管理成本。为解决上述痛点,DataPipeline在新版本的数据同步任务中增加了「自定义数据源」功能,用户可以通过上传JAR包的方式自定义获取数据逻辑。新功能支持任意的MySQL、Oracle、SQLServer、Hive、HBase等常见数据源,冷门数据库等(如腾讯云TDSQL),常用的API调用,用户自定义的SDK,或者通过Python抓取数据等。

一、「自定义数据源」提供的价值

1 通过「自定义数据源」,用户可以:

2 如何使用「自定义数据源」功能

用户可通过以下四步使用「自定义数据源」功能:

3 关于「自定义数据源」的核心页面:

(1)用户在选择自定义数据源和目的地后,需要在读取设置步骤中上传JAR包

DataPipeline丨「自定义」数据源,解决复杂请求逻辑

(2) 用户可以在一个任务中选择一个或多个读取对象,每个读取对象可以映射到目标表的表中

DataPipeline丨「自定义」数据源,解决复杂请求逻辑

(3)完成读取设置后,在写入设置步骤中先确定每个读取对象的数据解析逻辑

DataPipeline丨「自定义」数据源,解决复杂请求逻辑

4 完成解析逻辑后,用户可以手动添加名称并选择对应的数据类型 ,来完成目的地表结构

DataPipeline丨「自定义」数据源,解决复杂请求逻辑

DataPipeline每一次版本的迭代都凝聚了团队对企业数据使用需求的深入思索,其它新功能还在路上,很快就会跟大家见面了,希望能够切实帮助大家更敏捷高效地获取数据。

推荐阅读:
  1. 最新2.7版本丨DataPipeline数据融合产品最新版本
  2. DataPipeline数据融合重磅功能丨一对多实时分发、批

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

数据源、api数据、数据传输 dat ne

上一篇:华为鸿蒙OS,到底行不行?

下一篇:MGR最多有几个服务器组成

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》