如何进行大数据高速计算引擎Spark的概念分析

发布时间:2021-12-17 10:28:45 作者:柒染
来源:亿速云 阅读:247

本篇文章为大家展示了如何进行大数据高速计算引擎Spark的概念分析,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。

第一部分 Spark Core

第1节 Spark概述

1.1 什么是Spark

Spark 是一个快速、通用的计算引擎。Spark的特点:
速度快。与 MapReduce 相比,Spark基于内存的运算要快100倍以上,基于硬
盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎,可以通过基于内
存来高效处理数据流;
使用简单。Spark支持 Scala、Java、Python、R的API,还支持超过80种高级算
法,使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala
的shell,可以非常方便地在这些shell中使用Spark集群来验证解决问题的方法;
通用。Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询
(Spark SQL)、实时流处理(Spark Streaming)、机器学习(Spark MLlib)和图计算
(GraphX)。这些不同类型的处理都可以在同一个应用中无缝使用。Spark统一的
解决方案非常具有吸引力,企业想用统一的平台去处理遇到的问题,减少开发和
维护的人力成本和部署平台的物力成本;
兼容好。Spark可以非常方便地与其他的开源产品进行融合。Spark可以使用
YARN、Mesos作为它的资源管理和调度器;可以处理所有Hadoop支持的数
据,包括HDFS、HBase和Cassandra等。这对于已经部署Hadoop集群的用户特
别重要,因为不需要做任何数据迁移就可以使用Spark的强大处理能力。Spark
也可以不依赖于第三方的资源管理和调度器,它实现了Standalone作为其内置
的资源管理和调度框架,这样进一步降低了Spark的使用门槛,使得所有人都可
以非常容易地部署和使用Spark。此外,Spark还提供了在EC2上部署
Standalone的Spark集群的工具。

1.2 Spark 与 Hadoop

从狭义的角度上看:Hadoop是一个分布式框架,由存储、资源调度、计算三部分组 成; Spark是一个分布式计算引擎,由 Scala 语言编写的计算框架,基于内存的快速、通 用、可扩展的大数据分析引擎; 从广义的角度上看,Spark是Hadoop生态中不可或缺的一部分;

MapReduce的不足:
	表达能力有限
	磁盘IO开销大
	延迟高
		任务之间的衔接有IO开销
		在前一个任务执行完成之前,后一个任务无法开始。难以胜任复杂的、多阶段计算任务

Spark在借鉴MapReduce优点的同时,很好地解决了MapReduce所面临的问题。 如何进行大数据高速计算引擎Spark的概念分析

在实际应用中,大数据应用主要包括以下三种类型:

当同时存在以上三种场景时,传统的Hadoop框架需要同时部署三种不同的软件。 如:

这样做难免会带来一些问题:

Spark所提供的生态系统足以应对上述三种场景,即同时支持批处理、交互式查询和 流数据处理:

Spark 为什么比 MapReduce 快: 1 Spark积极使用内存。MR框架中一个Job 只能拥有一个 map task 和一个 reduce task。如果业务处理逻辑复杂,一个map和一个reduce是表达不出来的,这时就需 要将多个 job 组合起来;然而前一个job的计算结果必须写到HDFS,才能交给后一个 job。这样一个复杂的运算,在MR框架中会发生很多次写入、读取操作操作;Spark 框架则可以把多个map reduce task组合在一起连续执行,中间的计算结果不需要落 地; 复杂的MR任务:mr + mr + mr + mr +mr ... 复杂的Spark任务:mr -> mr -> mr ......

2、多进程模型(MR) vs 多线程模型(Spark)。MR框架中的的Map Task和Reduce Task是进程级别的,而Spark Task是基于线程模型的。MR框架中的 map task、 reduce task都是 jvm 进程,每次启动都需要重新申请资源,消耗了不必要的时间。 Spark则是通过复用线程池中的线程来减少启动、关闭task所需要的系统开销。

1.3 系统架构

Spark运行架构包括:

Cluster Manager 是集群资源的管理者。Spark支持3种集群部署模式:

Standalone、Yarn、Mesos;

Worker Node 工作节点,管理本地资源;

Driver Program。运行应用的 main() 方法并且创建了 SparkContext。由Cluster Manager分配资源,SparkContext 发送 Task 到 Executor 上执行;

Executor:在工作节点上运行,执行 Driver 发送的 Task,并向 Dirver 汇报计算结果;

如何进行大数据高速计算引擎Spark的概念分析

1.4 Spark集群部署模式

Spark支持3种集群部署模式:Standalone、Yarn、Mesos;

Yarn拥有强大的社区支持,且逐步已经成为大数据集群资源管理系统的标准
在国内生产环境中运用最广泛的部署模式
Spark on yarn 的支持两种模式:
	yarn-cluster:适用于生产环境
	yarn-client:适用于交互、调试,希望立即看到app的输出
Cluster Manager:ResourceManager
Worker Node:NodeManager
仅支持粗粒度的资源分配方式
	官方推荐的模式。Spark开发之初就考虑到支持Mesos
	Spark运行在Mesos上会比运行在YARN上更加灵活,更加自然
	Cluster Manager:Mesos Master
	Worker Node:Mesos Slave
	支持粗粒度、细粒度的资源分配方式

粗粒度模式(Coarse-grained Mode):每个应用程序的运行环境由一个Dirver和 若干个Executor组成,其中,每个Executor占用若干资源,内部可运行多个Task。 应用程序的各个任务正式运行之前,需要将运行环境中的资源全部申请好,且运行过 程中要一直占用这些资源,即使不用,最后程序运行结束后,回收这些资源。

细粒度模式(Fine-grained Mode):鉴于粗粒度模式会造成大量资源浪费,Spark On Mesos还提供了另外一种调度模式:细粒度模式,这种模式类似于现在的云计 算,核心思想是按需分配。

1.5 相关术语

	Application 用户提交的spark应用程序,由集群中的一个driver 和 许多
	executor 组成
	Application jar 一个包含spark应用程序的jar,jar不应该包含 Spark 或 Hadoop
	的 jar,这些jar应该在运行时添加
	Driver program 运行应用程序的main(),并创建SparkContext(Spark应用程
	序)
	Cluster manager 管理集群资源的服务,如standalone,Mesos,Yarn
	Deploy mode 区分 driver 进程在何处运行。在 Cluster 模式下,在集群内部运
	行 Driver。 在 Client 模式下,Driver 在集群外部运行
	Worker node 运行应用程序的工作节点
	Executor 运行应用程序 Task 和保存数据,每个应用程序都有自己的
	executors,并且各个executor相互独立
	Task
	executors应用程序的最小运行单元
	Job
	在用户程序中,每次调用Action函数都会产生一个新的job,也就是说每个
	Action 生成一个job
	Stage
	一个 job 被分解为多个 stage,每个 stage 是一系列 Task 的集合

上述内容就是如何进行大数据高速计算引擎Spark的概念分析,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注亿速云行业资讯频道。

推荐阅读:
  1. 上:Spark VS Flink – 下一代大数据计算引擎之争,谁主沉浮?
  2. 怎样进行spark学习

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

大数据 spark

上一篇:ceph中rbdmap遇到问题的案例分析

下一篇:python匿名函数怎么创建

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》