您好,登录后才能下订单哦!
小编给大家分享一下spark1.4 Windows local调试环境如何搭建,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
spark1.4 Windows local调试环境搭建总结
1.scala版本 scala-2.10.4 官方推荐 scala-2.11.7【不推荐,非sbt项目、需要后加载】
2.spark版本 spark-1.4.0-bin-hadoop2.6.tgz
3.hadoop 3.1版本 hadoop-2.6.0.tar.gz 3.2环境变量 HADOOP_HOME=E:/ysg.tools/spark/hadoop-2.6.0 或 System.setProperty("hadoop.home.dir", "E:\ysg.tools\spark\hadoop-2.6.0"); 3.3winutils.exe
winutils.exe拷贝至spark/hadoop-2.6.0/bin
文件下载地址 http://files.cnblogs.com/files/yjmyzz/hadoop2.6%28x64%29V0.2.zip
4.idea 新建 NO-SBT项目
libraties 增加 scala sdk spark-1.4.0-bin-hadoop2.6\lib\spark-assembly-1.4.0-hadoop2.6.0.jar
spark.test.iml 先加载 spark-assembly-1.4.0-hadoop2.6.0 再加载 scala-sdk-2.11.7
<?xml version="1.0" encoding="UTF-8"?> <module type="JAVA_MODULE" version="4"> <component name="NewModuleRootManager" inherit-compiler-output="true"> <exclude-output /> <content url="file://$MODULE_DIR$"> <sourceFolder url="file://$MODULE_DIR$/src" isTestSource="false" /> </content> <orderEntry type="inheritedJdk" /> <orderEntry type="sourceFolder" forTests="false" /> <orderEntry type="library" name="spark-assembly-1.4.0-hadoop2.6.0" level="project" /> <orderEntry type="library" name="scala-sdk-2.11.7" level="project" /> </component> </module>
以上是“spark1.4 Windows local调试环境如何搭建”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注亿速云行业资讯频道!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。