Spark程序怎么实现

发布时间:2022-01-14 16:56:24 作者:iii
来源:亿速云 阅读:119

这篇文章主要介绍“Spark程序怎么实现”,在日常操作中,相信很多人在Spark程序怎么实现问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Spark程序怎么实现”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

import org.apache.spark.sql.SparkSession
import java.net.URLDecoder
import org.apache.hadoop.hdfs.DistributedFileSystem
import org.apache.hadoop
object SparkMapreduce {
  
  def main(args: Array[String]) {
   val session = SparkSession.builder().master("local[2]").getOrCreate();

    val sc = session.sparkContext;
    val path = SparkMapreduce.getClass.getResource("readme.md");

    val pathStr = path.getFile;
    println(pathStr);
    val textFile = sc.textFile("file://" + pathStr)
    val count = textFile.count()
    println(count);
    val linesWithSpark = textFile.filter(line => {
      //println(line);
      line.contains("UnderConstruction")
    })
    //把 collect去除后不会打印,说明了 transform和action的区别
    linesWithSpark.collect().map { println(_) }
    val url = SparkMapreduce.getClass.getResource("分类预测.csv");
    //中文会被编码,此处反编码
    val predictionPath = URLDecoder.decode(url.getPath, "utf-8");
    val predictionDF = "file://" + predictionPath;
    val predictionRDD = sc.textFile(predictionDF, 3)
    //我们将文本内容打印出来。
    predictionRDD.collect().map { println(_) }
  }
}

到此,关于“Spark程序怎么实现”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!

推荐阅读:
  1. spark-shell开发wordcount程序
  2. 在IDEA中编写spark程序

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

spark

上一篇:MySQL如何在命令行操作表数据

下一篇:springboot整合quartz定时任务框架的方法是什么

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》