Spark的RDD操作有哪些

这篇文章主要讲解了“Spark的RDD操作有哪些”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Spark的RDD操作有哪些”吧！

Spark的RDD

在Spark中一切都是以RDD为基础和核心的：

每个RDD的API如下所示：

Spark官方文档中给出了的众多的RDD：

RDD中的操作分为transformations和actions两种：

下面举一个例子来说明RDD的使用：

另外有两个特殊的RDD:

他们都是controlling operations：

RDD在执行的时候都是并行的：

Spark的高容错机制lineage

基于DAG图，lineage是轻量级而高效的：

操作之间相互具备lineage的关系，每个操作只关心其父操作，各个分片的数据之间互不影响，出现错误的时候只要恢复单个Split的特定部分即可：

感谢各位的阅读，以上就是“Spark的RDD操作有哪些”的内容了，经过本文的学习后，相信大家对Spark的RDD操作有哪些这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是亿速云，小编将为大家推送更多相关知识点的文章，欢迎关注！