Spark的RDD操作有哪些

# Spark的RDD操作有哪些

Apache Spark的核心抽象是**弹性分布式数据集（RDD, Resilient Distributed Dataset）**，它提供了一系列丰富的操作来处理分布式数据。RDD操作主要分为两大类：**转换（Transformations）**和**行动（Actions）**。

---

## 一、转换操作（Transformations）

转换操作是惰性执行的，它们会返回一个新的RDD，而不会立即计算结果。

### 1. 基础转换
- **`map(func)`**：对每个元素应用函数`func`。
- **`filter(func)`**：保留满足`func`条件的元素。
- **`flatMap(func)`**：类似`map`，但每个输入可映射到多个输出。
- **`distinct()`**：去重。

### 2. 键值对转换
- **`reduceByKey(func)`**：对相同键的值聚合。
- **`groupByKey()`**：按键分组。
- **`sortByKey()`**：按键排序。
- **`join(otherRDD)`**：对两个键值RDD执行内连接。

### 3. 集合操作
- **`union(otherRDD)`**：合并两个RDD。
- **`intersection(otherRDD)`**：返回两个RDD的交集。
- **`subtract(otherRDD)`**：返回当前RDD有而另一个RDD没有的元素。

---

## 二、行动操作（Actions）

行动操作会触发实际计算并返回结果到驱动程序或存储系统。

### 1. 输出操作
- **`collect()`**：返回所有元素到驱动程序（需谨慎使用）。
- **`take(n)`**：返回前`n`个元素。
- **`count()`**：统计元素总数。

### 2. 聚合操作
- **`reduce(func)`**：通过`func`聚合所有元素。
- **`fold(zeroValue)(func)`**：类似`reduce`，但有初始值。
- **`aggregate(zeroValue)(seqOp, combOp)`**：支持不同类型的聚合。

### 3. 存储操作
- **`saveAsTextFile(path)`**：保存为文本文件。
- **`saveAsSequenceFile(path)`**：保存为Hadoop序列文件。

---

## 三、持久化操作

通过`persist()`或`cache()`将RDD缓存到内存或磁盘，避免重复计算。

```python
rdd.persist(StorageLevel.MEMORY_ONLY)  # 缓存到内存

总结

Spark的RDD操作提供了灵活的数据处理能力： - 转换操作：用于构建RDD依赖关系图（DAG）。 - 行动操作：触发实际计算并输出结果。 - 持久化：优化迭代计算性能。

掌握这些操作是高效使用Spark的基础。 “`

这篇文章以Markdown格式编写，结构清晰，涵盖了RDD的核心操作类型及典型示例，总字数约500字。