混合数据湖的好处是什么

发布时间:2022-01-15 17:35:06 作者:柒染
来源:亿速云 阅读:155

这篇文章主要为大家分析了混合数据湖的好处是什么的相关知识点,内容详细易懂,操作细节合理,具有一定参考价值。如果感兴趣的话,不妨跟着跟随小编一起来看看,下面跟着小编一起深入学习“混合数据湖的好处是什么”的知识吧。

在存储大数据时,数据湖和数据仓库都是既定术语,但是这两个术语不是同义词。数据湖是尚未确定用途的大量原始数据。另一方面,数据仓库是用于特定目的的结构化过滤数据的存储库。

共同点

数据仓库和数据湖代表了一个中央数据库系统,可以在公司中用于分析目的。该系统从各种异构数据源中提取,收集和保存相关数据,并提供给下游系统。

数据仓库可以分为四个子过程:

差异性

数据仓库将经典的ETL流程与关系数据库中的结构化数据结合使用,而数据湖则使用诸如ELT的范式和读取模式以及经常使用的非结构化数据[2]。

混合数据湖的好处是什么

> Differences Data Warehouse vs. Lake

在上方,您可以看到主要区别。您使用的技术也完全不同。对于数据仓库,您将使用SQL和关系数据库,而对于数据湖,您可能将使用NoSQL或两者的混合。

将两者结合在混合数据湖中

那么如何将这两个概念结合起来?在下图中,您可以从高角度查看架构。

该过程是将非结构化和未转换的数据加载到数据湖中。从这里,一方面可以将数据用于ML和Data  Science任务。另一方面,数据也可以转换为结构化形式并加载到数据仓库中。从这里,可以实现通过数据集市和(自助服务)BI工具进行的经典数据仓库分发。

混合数据湖的好处是什么

> Hybrid Data Lake Concept — Image from Author

可以用于此体系结构的主要技术例如:

注意:诸如Google的BiqQuery或AWS  Redshift之类的技术通常被视为数据仓库技术与数据湖技术之间的混合体,因为它们通常已经具有NoSQL的某些特征。

关于“混合数据湖的好处是什么”就介绍到这了,更多相关内容可以搜索亿速云以前的文章,希望能够帮助大家答疑解惑,请多多支持亿速云网站!

推荐阅读:
  1. O`Reilly FreeBook:数据湖构架 简介
  2. Apache四个大型开源数据和数据湖系统是什么

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

数据湖

上一篇:基于Web控制面板的服务器管理工具有哪些

下一篇:springboot整合quartz定时任务框架的方法是什么

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》