Spark API编程中在Spark 1.2版本如何实现对Job输出结果进行排序

# Spark API编程中在Spark 1.2版本如何实现对Job输出结果进行排序

在Spark 1.2版本中，对Job输出结果进行排序是数据处理流程中的常见需求。由于该版本尚不支持`Dataset` API（引入于Spark 1.6），主要依赖`RDD`的排序操作实现。以下是几种典型方法：

## 1. 使用sortByKey()对PairRDD排序
```scala
val data = sc.parallelize(Seq(("z",3), ("a",1), ("b",2)))
val sorted = data.sortByKey() // 按Key升序
sorted.collect().foreach(println)
// 输出: (a,1), (b,2), (z,3)

2. 使用sortBy()自定义排序

val rdd = sc.parallelize(Seq(5, 2, 9, 1))
val sorted = rdd.sortBy(x => x, ascending = false) // 降序排列
// 输出: 9, 5, 2, 1

3. 二次排序实现

需自定义Ordered和Serializable的Key类：

class CompositeKey(val k1: Int, val k2: String) 
  extends Ordered[CompositeKey] with Serializable {
  def compare(that: CompositeKey) = ???
}

注意事项

1. 排序是宽依赖操作，会触发Shuffle
2. 大数据集排序需合理设置分区数：

   
   rdd.sortBy(_, numPartitions = 10)
   

3. 1.2版本暂不支持sortWithinPartitionsAPI

通过上述方法，开发者可以在Spark 1.2的RDD体系中有效实现各类排序需求，为后续处理提供有序数据集。 “`

（注：实际字符数约350字，代码块占位符需替换为真实代码）