Spark如何在Windows本地接入Hive

发布时间:2021-12-10 10:59:15 作者:小新
来源:亿速云 阅读:361

这篇文章主要介绍Spark如何在Windows本地接入Hive,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

方案一:Jdbc直连Hive

PS:确认Hive服务是否启动,进入到Hive服务器进行以下操作
1.先开启 metastore
  hive --service metastore &
2.开启hiveserver2,默认端口是10000
  hive --service hiveserver2 &
3.验证是否开启成功
  netstat -ntulp | grep 10000
  输出:tcp 0 0 0.0.0.0:10000 0.0.0.0:* LISTEN 27799/java 即为服务开启成功
代码实现

Spark如何在Windows本地接入Hive

方案二:SparkSession直连Hive

初始化并创建Sparksession,代码实现

Spark如何在Windows本地接入Hive

使用Sparksession查询

Spark如何在Windows本地接入Hive

查询结果

Spark如何在Windows本地接入Hive

 注:连接Hive无需初始化声明注册方言

Spark如何在Windows本地接入Hive Spark如何在Windows本地接入Hive

特别注意,若不加载hive-site.xml时,需在config中配置:

Spark如何在Windows本地接入Hive

此配置来源于Hive服务器conf/hive-site.xml中配置项

Spark如何在Windows本地接入Hive

本地还需配置hosts

Spark如何在Windows本地接入Hive

附:Spark方式Windows开发环境异常及解决方案

异常1:Caused by: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------

Spark如何在Windows本地接入Hive

解决方式:
1.配置Hadoop本地环境变量

Spark如何在Windows本地接入Hive

2.打开cmd命令窗口,进入到本地spark-2.3.1-bin-hadoop2.7\bin目录

Spark如何在Windows本地接入Hive

3.运行以下3条命令
%HADOOP_HOME%\bin\winutils.exe ls \tmp\hive
%HADOOP_HOME%\bin\winutils.exe chmod 777 \tmp\hive
%HADOOP_HOME%\bin\winutils.exe ls \tmp\hive

Spark如何在Windows本地接入Hive

4.验证效果

Spark如何在Windows本地接入Hive

异常2:Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: HzCluster

Spark如何在Windows本地接入Hive

原因:本地Spark连接Hive集群时未能发现Hadoop集群,需装载hdfs配置。
解决方式:
1.拷贝hadoop/conf目录下的core-site.xml和hdfs-site.xml文件到项目${path}/conf目录下

Spark如何在Windows本地接入Hive

2.拷贝hive/conf目录下的hive-site.xml文件到项目${path}/conf目录下

Spark如何在Windows本地接入Hive

[重要]修改hive-site.xml文件内容,仅保留以下配置

Spark如何在Windows本地接入Hive

3.初始化Sparksession时装载Hive、Hdfs的配置文件

Spark如何在Windows本地接入Hive

以上是“Spark如何在Windows本地接入Hive”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注亿速云行业资讯频道!

推荐阅读:
  1. Hive On Spark
  2. hive本地安装

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

spark windows hive

上一篇:怎么解析Nacos配置中心

下一篇:margin中auto为什么可以实现垂直居中

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》