数据中台如何通过DataAPI实现数据共享

发布时间:2021-07-02 16:37:27 作者:chen
来源:亿速云 阅读:914

本篇内容介绍了“数据中台如何通过DataAPI实现数据共享”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

数栈是云原生—站式数据中台PaaS,我们在github和gitee上有一个有趣的开源项目:FlinkX,FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,也可以采集实时变化的数据,是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star!star!star!

github开源项目:https://github.com/DTStack/flinkx

gitee开源项目:https://gitee.com/dtstack_dev_0/flinkx

如果把企业数字化转型比作一辆自行车,那么技术与数据便是这辆车的两个轮子,骑在车上的则是企业战略、文化以及各种资源,它们决定了转型将走向哪个方向。不管数字化转型之路多么正确、战术如何高明,其最终结果还是要通过这两个轮子落地。

DT时代,“大数据”不是强调量大,是指数据来源多、维度多。现在很多系统的数据没法给第三方用,只有打破这种壁垒,才会产生新的价值。在数智化转型过程中,实现数据开放共享,是企业在DT时代实现弯道超车的前提。

一、什么是数据共享服务

数据共享服务可简单概括为将数据中台的数据共享给其他系统,或将某组织的数据共享给其他组织,提供数据的方式也十分多样,如数据库读取、文件传输、API接口服务等。

如何通过数据API,对外提供数据服务,进行数据共享呢?

数据API,通过RestfulAPI的形式对外提供数据服务,适用于数据库不直接对外开放,通过接口提供高并发快返回的数据服务场景,如企业内部将数据中台加工的结果数据,通过数据API的方式,提供给上层数据应用、数据门户,可视化大屏等;证券公司将股票、债券等行情数据通过数据API的方式提供给外部客户;新媒体企业将资讯通过API的方式提供给外部客户等,主要解决数据对外快速共享的场景。

二、怎样生成数据服务

按照传统方式,生成API接口,往往需要后端开发人员通过Java或Python等语言进行编写。从开始生成到对外发布,中间再做一些鉴权、限流等,整个流程较长,且一个接口开发完成后,需要测试人员再进行测试验证,整个过程下来,投入成本较高。

以下是传统方式生成数据API的流程:

数据中台如何通过DataAPI实现数据共享

近几年,在数据中台的浪潮中,大数据平台产品供应也越来越俱全。国内部分优秀的大数据产品供应商,也有标准化的数据共享服务产品,其将数据服务能力进行封装,大部分功能在平台产品内部完成,面向用户的功能只是连接数据源、编写查询逻辑,大幅度缩短API流程,并降低开发成本。

利用标准化产品,一般开发流程如下:

数据中台如何通过DataAPI实现数据共享

在API生成中,经过以下步骤:

在API调用流程中,API网关可以进行鉴权、限流、数据解密等工作。

(一)较于传统化的生成方式,标准化产品能带来什么?

1. 开发效率的提升:将数据API开发流程缩短,一个API生成只需3分钟

2. 人力成本的降低:传统方式需要后端开发写接口,现在只需更熟悉数据的开发,通过写SQL,就可完成数据API的开发。

3. API接口服务更多的场景:除了用户原有需求外,标准化的产品可带来更多附加功能,如API、用户限流,API调用监控等。

4. 企业级API市场:实现企业API统一管理,统一的API市场开放数据服务。

(二)数栈DTinsight 的DataAPI产品正是面向以上场景,提供数据API的共享服务。

DataAPI,通过双模式可视化配置生成与注册API,快速构建Oneservice数据服务,形成企业级的API市场和API服务管理平台,提高数据开放与共享效率。

三、DataAPI可以做什么

DataAPI除以上介绍可解决的场景外,还在第三方数据服务、服务监控、数据服务安全深耕较多,提供给客户一个优秀的数据服务产品。

通过向导模式、自定义SQL模式双模式生成API服务,3分钟可视化完成API创建。

除在平台上生成API服务,支持将原有的API服务注册至DataAPI,进行统一管理、发布至API市场,企业所有的API服务统一管理。

平台从API管理者、API申请者视角分别提供API调用次数、调用日志、错误日志的监控。

可控制单个API的用户使用权限,调用次数是多少,调用周期是多长。

四、数据服务安全

数据对外服务过程中,数据安全是非常重要的一部分,DataAPI保障数据安全,主要有三方面:

API调用中提供2种加密方式,可对用户信息、API信息、数据信息进行加密,适用于不同安全级别的场景。

针对API单秒调用次数、用户对API的调用次数可进行限流,保障数据服务的安全稳定性。

通过设置黑白名单,从IP级别控制IP的访问。

“数据中台如何通过DataAPI实现数据共享”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!

推荐阅读:
  1. 怎么在nginx中使用ctx实现数据共享
  2. Vuex实现数据共享的方法

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

上一篇:怎么用ShardingSphere5.0.0-alpha实现mysql数据分表分片

下一篇:C语言中结构体如何使用

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》