您好,登录后才能下订单哦!
本篇内容介绍了“Spark Sql的安装过程”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
一、启动zk、启动hdfs集群、启动hive服务(hive --service metastore)
二、修改spark中conf下的hive-site.xml配置文件(就和hive的client的配置文件相同)
注:这里配置文件只需要修改一台主机就可以了,这里相当于client
三、启动spark集群
四、启动spark sql(./bin/spark-sql --master spark://node11:7077 --executor-memory 512m)
注:配置文件spark-env.sh中如果配置的是ip 那么命令就需要用ip,如果配置文件中配置的是主机名,那么命令就要用主机名;
SparkSQL thrift server环境搭建
1、hive-site.xml 中添加配置
<property>
<name>hive.server2.thrift.min.worker.threads</name>
<value>5</value>
<description>Minimum number of Thrift worker threads</description>
</property>
<property>
<name>hive.server2.thrift.max.worker.threads</name>
<value>500</value>
<description>Maximum number of Thrift worker threads</description>
</property>
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
<description>Port number of HiveServer2 Thrift interface. Can be overridden by setting $HIVE_SERVER2_THRIFT_PORT</description>
</property>
<property>
<name>hive.server2.thrift.bind.host</name>
<value>node12</value><!-- 这里就是当前主机名 -->
<description>Bind host on which to run the HiveServer2 Thrift interface.Can be overridden by setting$HIVE_SERVER2_THRIFT_BIND_HOST</description>
</property>
二、启动spark thrift server
./sbin/start-thriftserver.sh --master spark://192.168.57.4:7077 --executor-memory 512M
三、启动以后可以通过bin目录下beeline访问
./bin/beeline
!connect jdbc:hive2://node12:10000
注:这样可以进入sparksql控制台,但是不能查询,报错,需要将hdfs集群中core-site.xml 和 hdfs-site.xml拷贝到spark中conf下(每个spark集群节点都要拷贝)
“Spark Sql的安装过程”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。