您好,登录后才能下订单哦!
密码登录
登录注册
点击 登录注册 即表示同意《亿速云用户服务条款》
这篇文章主要介绍“如何使用sbt打包scala写的spark项目”,在日常操作中,相信很多人在如何使用sbt打包scala写的spark项目问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”如何使用sbt打包scala写的spark项目”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
项目根目录build.sbt
//项目名称 name := "sparkScala" //项目版本 version := "1.0" //scala版本 scalaVersion := "2.11.7" //jdk版本 javacOptions ++= Seq("-source", "1.7", "-target", "1.7") //依赖项,%%表示测试时需要,一般%; % "provided"表示此jar不打入最终的jar文件内 libraryDependencies += "com.alibaba" % "fastjson" % "1.2.4" libraryDependencies += "org.apache.spark" %% "spark-core" % "1.4.1" % "provided" libraryDependencies += "org.apache.spark" %% "spark-sql" % "1.4.1" % "provided" //主函数 mainClass in Compile := Some("main.MergePartition") //打包时,排除scala类库 assemblyOption in assembly := (assemblyOption in assembly).value.copy(includeScala = false)
项目根目录project/plugins.sbt添加assembly插件
addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.13.0")
最终在项目根目录下执行
sbt clean assembly
即可看到香喷喷的jar包文件
解压里面即可看到fastjson被打入jar包内,其它要排除的都已被排除
在META-INF/MANIFEST.MF文件也写入了Main-Class: main.MergePartition 这个主函数执行类
到此,关于“如何使用sbt打包scala写的spark项目”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。