Spark SQL读取MySQL的dept和hive的emp表,做join和分组查询,后写到json

发布时间:2020-07-19 13:28:53 作者:Stitch_x
来源:网络 阅读:840
val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://hadoop000:3306").option("dbtable", "hive.dept").option("user", "root").option("password", "123456").load()
jdbcDF.createOrReplaceTempView("dept")
val hiveDF = sql("SELECT * FROM emp")
val sqlDF = sql("SELECT * FROM emp e JOIN dept d ON e.deptno = d.deptno").show

sqlDF.write.format("json").save("file:///empJoinDept.json")
推荐阅读:
  1. 四、spark--sparkSQL原理和使用
  2. Spark 系列(十)—— Spark SQL 外部数据源

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

spark spark sql hive

上一篇:动态链接库与静态链接库

下一篇:nodejs渐入佳境[22]-express+mongoDB+mongoose验证

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》