IMF前期知识储备-What is Spark详细讲解(四大特性)

发布时间:2020-04-09 11:39:58 作者:lqding1980
来源:网络 阅读:67

Spark 官方网站使用如下简洁的语言描述了Spark

IMF前期知识储备-What is Spark详细讲解(四大特性)我们可以从中提取出如下信息:

Spark是一个引擎

  1. 快速

  2. 通用

Spark可以用来处理数据

  1. 数据是大规模的

Spark本身并不提供数据存储能力,它只是一个计算框架


它的快速体现在什么地方呢?

IMF前期知识储备-What is Spark详细讲解(四大特性)如果处理的数据在内存中,运行MapReduce比hadoop要快100倍以上,要是数据在磁盘中,也比Hadoop快10倍以上。

为什么会快呢,Spark在处理数据的时候,使用了一个高级的执行引擎:DAG - 有向无环图 。以及内存计算。


易于使用:

可以使用scala、java、Python等语言快速的开发应用程序。Spark提供了超过80个操作来简单的构建并行应用。只需几行代码,就可以完成wordcount的计算。

IMF前期知识储备-What is Spark详细讲解(四大特性)


通用性:

Spark 提供了大数据一栈式解决方案。包含了流计算、图计算、机器学习、SQL等。

IMF前期知识储备-What is Spark详细讲解(四大特性)

对于开发、维护、学习成本都是大大的降低。


运行在任何地方:

Spark可以运行在Hadoop的YARN、Mesos, standalone,或者运行在云上。

Spark 处理的数据,可以存储在HDFS, Cassandra, HBase,和S3等等。 


IMF前期知识储备-What is Spark详细讲解(四大特性)


Spark的发展非常快速,TimeLine如下

IMF前期知识储备-What is Spark详细讲解(四大特性)

Spark进入Apache后,发展非常迅速。版本发布比较频繁。


Spark的生态体系(BDAS,中文:伯克利分析栈)

BDAS生态体系图:

IMF前期知识储备-What is Spark详细讲解(四大特性)



MapReduce和Spark比较

IMF前期知识储备-What is Spark详细讲解(四大特性)

异同点:

  1. 基本原理上

2. 模型上

3. 容错性






推荐阅读:
  1. Appium Android Bootstrap源码分析之简介
  2. 国内常用cdn介绍

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

简介 spark 前期

上一篇:c语言中关键字类型的详细介绍

下一篇:c语言注释符号怎么打

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》