怎么在CDH中启用Spark Thrift

发布时间:2021-12-13 10:07:50 作者:小新
来源:亿速云 阅读:170

这篇文章主要为大家展示了“怎么在CDH中启用Spark Thrift”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“怎么在CDH中启用Spark Thrift”这篇文章吧。

2.部署Spark-assembly Jar包


1.下载spark-1.6.3-bin-hadoop2.6.tgz,下载地址如下:

https://www.apache.org/dyn/closer.lua/spark/spark-1.6.3/spark-1.6.3-bin-hadoop2.6.tgz

2.将下载的spark-1.6.3-bin-hadoop2.6.tgz上传至集群的任意节点并解压,这里以cdh02节点为例

[root@cdh02 ~]# tar -zxvf spark-1.6.3-bin-hadoop2.6.tgz

怎么在CDH中启用Spark Thrift

3.将解压出来的spark-assembly-1.6.3-hadoop2.6.0.jar拷贝至CDH的jars目录

[root@cdh02 spark-1.6.3-bin-hadoop2.6]# scp /root/spark-1.6.3-bin-hadoop2.6/lib/spark-assembly-1.6.3-hadoop2.6.0.jar /opt/cloudera/parcels/CDH/jars/

4.替换CDH中spark默认的spark-assembly jar包

[root@cdh02 lib]# cd /opt/cloudera/parcels/CDH/lib/spark/lib
[root@cdh02 lib]# rm -rf spark-assembly-1.6.0-cdh6.13.0-hadoop2.6.0-cdh6.13.0.jar
[root@cdh02 lib]# ln -s ../../../jars/spark-assembly-1.6.3-hadoop2.6.0.jar spark-assembly-1.6.0-cdh6.13.0-hadoop2.6.0-cdh6.13.0.jar

怎么在CDH中启用Spark Thrift

5.将spark-assembly-1.6.3-hadoop2.6.0.jar包上传至HDFS目录

[root@cdh02 lib]# sudo -u spark hadoop fs -mkdir -p /user/spark/share/lib
[root@cdh02 lib]# sudo -u spark hadoop fs -put /opt/cloudera/parcels/CDH/jars/spark-assembly-1.6.3-hadoop2.6.0.jar /user/spark/share/lib
[root@cdh02 lib]# sudo -u spark hadoop fs -chmod 755 /user/spark/share/lib/spark-assembly-1.6.3-hadoop2.6.0.jar

怎么在CDH中启用Spark Thrift

6.在CM上对Spark进行配置,配置如下:

怎么在CDH中启用Spark Thrift

怎么在CDH中启用Spark Thrift

保存配置并重启Spark服务。

7.修改/etc/spark/conf/ classpath.txt文件在末尾增加如下内容

/opt/cloudera/parcels/CDH-5.13.0-1.cdh6.13.0.p0.29/jars/spark-lineage_2.10-1.6.0-cdh6.13.0.jar

怎么在CDH中启用Spark Thrift

由于CDH5.11以后版本,Navigator2.10增加了Spark的血缘分析,所以这里需要添加spark-lineage_2.10-1.6.0-cdh6.13.0.jar包,否则连接Spark会报错找不到com.cloudera.spark.lineage.ClouderaNavigatorListener类。

3.部署Spark ThriftServer启动和停止脚本


1.拷贝Spark ThriftServer启动和停止脚本

将 spark-1.6.3-bin-hadoop2.6/sbin/目录下的 start-thriftserver.sh 和 stop-thriftserver.sh 脚本拷贝到/opt/cloudera/parcels/CDH/lib/spark/sbin目录下,并设置执行权限。

[root@cdh02 sbin]# scp start-thriftserver.sh stop-thriftserver.sh /opt/cloudera/parcels/CDH/lib/spark/sbin/
[root@cdh02 sbin]# chmod +x /opt/cloudera/parcels/CDH/lib/spark/sbin/*thriftserver.sh
[root@cdh02 sbin]# ll /opt/cloudera/parcels/CDH/lib/spark/sbin/

怎么在CDH中启用Spark Thrift

2.修改 load-spark-env.sh 脚本,这个脚本是启动 spark 相关服务时加载环境变量信息的

[root@ip-172-31-5-190 sbin]# cd /opt/cloudera/parcels/CDH/lib/spark/bin
[root@ip-172-31-5-190 bin]# pwd
/opt/cloudera/parcels/CDH/lib/spark/bin
[root@ip-172-31-5-190 bin]#

将注释掉exec "$SPARK_HOME/bin/$SCRIPT""$@",因为在start-thriftserver.sh脚本中会执行这个命令

怎么在CDH中启用Spark Thrift

4.启动与停止Spark ThriftServer


1.启动Spark ThriftServer服务

[root@ip-172-31-5-190 sbin]# ./start-thriftserver.sh

怎么在CDH中启用Spark Thrift

检查端口是否监听

[root@ip-172-31-5-190 sbin]# netstat -an |grep 10000

怎么在CDH中启用Spark Thrift

注意:为了防止跟HiveServer2的10000端口冲突,可以自己修改Spark ThriftServer的启动端口。

通过Yarn查看

怎么在CDH中启用Spark Thrift

2.停止服务

[root@ip-172-31-5-190 sbin]# ./stop-thriftserver.sh

怎么在CDH中启用Spark Thrift

检查端口是否已停止

怎么在CDH中启用Spark Thrift

5.测试Spark Thrift


1.使用beeline通过JDBC连接Spark,可以发现连接的是Spark SQL

[root@ip-172-31-5-190 ~]# beeline
beeline> !connect jdbc:hive2://ip-172-31-5-190:10000
Enter username for jdbc:hive2://ip-172-31-5-190:10000: hive
Enter password for jdbc:hive2://ip-172-31-5-190:10000:

怎么在CDH中启用Spark Thrift

2.运行SQL测试

0: jdbc:hive2://ip-172-31-5-190:10000> show tables;
0: jdbc:hive2://ip-172-31-5-190:10000> select count(*) from test_table;
0: jdbc:hive2://ip-172-31-5-190:10000> select * from test;
0: jdbc:hive2://ip-172-31-5-190:10000> select * from test_table;
0: jdbc:hive2://ip-172-31-5-190:10000> select count(test_table.s2) from test_table join test on test_table.s1=test.s1;

怎么在CDH中启用Spark Thrift

怎么在CDH中启用Spark Thrift

3.在Yarn的8088中查看Spark任务,可以发现都是通过Spark执行的。

怎么在CDH中启用Spark Thrift

怎么在CDH中启用Spark Thrift

以上是“怎么在CDH中启用Spark Thrift”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注亿速云行业资讯频道!

推荐阅读:
  1. 0038-如何在CDH集群安装Anaconda&搭建Python私有源
  2. 0032-如何在CDH启用Kerberos的情况下安装及使用Sentry(二)

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

cdh spark

上一篇:win下如何搭建php环境

下一篇:Redis中的list命令怎么使用

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》