在Spark中,可以通过以下方式创建和操作RDD:
val rdd = sc.parallelize(Array(1, 2, 3, 4, 5))
val rdd = sc.textFile("file.txt")
val newRdd = rdd.map(x => x * 2)
val result = rdd.reduce((x, y) => x + y)
持久化RDD:
可以通过persist方法将RDD持久化到内存或磁盘中,以便重复使用:rdd.persist()
关闭SparkContext:
在操作完成后,需要调用SparkContext的close方法来关闭SparkContext:sc.close()