在CDP7.1.1中如何配置用户的Hive SQL的资源池队列

发布时间:2021-12-13 09:23:00 作者:小新
来源:亿速云 阅读:351

这篇文章将为大家详细讲解有关在CDP7.1.1中如何配置用户的Hive SQL的资源池队列 ,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。


1.操作系统Redhat7.6

2.CDP DC7.1.1

操作步骤      
   

Fayson使用test用户进行验证,创建了一个root.test 的资源池,设置放置规则test 用户放置到root.test 池下进行验证,具体操作如下:

1、首先确保你集群中的YARN Queue Manager是正常工作的,然后点击群集>动态资源池,在Yarn 创建资源池创建root.test 资源池,root.test资源池配置这里比例为10%,可根据资源情况自行调整

在CDP7.1.1中如何配置用户的Hive SQL的资源池队列

2、设置队列放置规则

Fayson 这里只针对test 用户,设置将test 用户的队列放置到root.test 资源池下

在CDP7.1.1中如何配置用户的Hive SQL的资源池队列

然后执行pyspark 命令验证已经生效。

在CDP7.1.1中如何配置用户的Hive SQL的资源池队列

3、进入beeline 命令或者在hue 中创建一个测试表,并插入一条数据验证

kinit test
create table test (s1 string,s2 string);
insert into test values ("test","abc");

然后查看执行结果和作业信息显示的池的default,用户是Hive 。在Hive SQL 中,并没有将作业正确的放置到用户的资源池队列

在CDP7.1.1中如何配置用户的Hive SQL的资源池队列

在CDP7.1.1中如何配置用户的Hive SQL的资源池队列

那么如何才能让Hive 作业正确的运行到指定的资源池下呢?

首先确报已禁用模拟功能hive.server2.enable.doAs=false

然后具体步骤如下:

CM -> YARN -> Configuration -> ResourceManager Advanced Configuration Snippet (Safety Valve) for yarn-site.xml 中添加以下参数:

yarn.resourcemanager.application-tag-based-placement.enable=true
yarn.resourcemanager.application-tag-based-placement.username.whitelist=hive

在CDP7.1.1中如何配置用户的Hive SQL的资源池队列

CM -> Hive_on_Tez -> Configuration -> Hive Service Advanced Configuration Snippet (Safety Valve) for hive-site.xml 中添加以下参数:

hive.server2.tez.initialize.default.sessions=false;
hive.server2.tez.queue.access.check=true;
hive.server2.tez.sessions.custom.queue.allowed=true;

在CDP7.1.1中如何配置用户的Hive SQL的资源池队列

设置完上述参数后,保存并重启服务生效。

然后重新提交insert 语句执行

在CDP7.1.1中如何配置用户的Hive SQL的资源池队列

查看资源池队列放置是否准确

CM 界面:

在CDP7.1.1中如何配置用户的Hive SQL的资源池队列

在CDP7.1.1中如何配置用户的Hive SQL的资源池队列

而提交任务的用户显示依旧为Hive, 因为 Hive 禁用模拟之后, 所有作业实际都是通过Hive用户提交的. 真实提交的用户显示 YARN Application Tag的一部分. 可以在 YARN Web UI 上看到 "Application Tag" 列会显示userid=XXX 的信息, 是实际的提交用户。

也可以通过 CM -> YARN -> Application 页面的右边 Select Attributes按钮点开 Application Tag, 接着在搜索框可以输入 application_tags RLIKE '.*userid=用户名' ,这样 CM 就会显示所有"用户名"提交的 Hive作业了。

在CDP7.1.1中如何配置用户的Hive SQL的资源池队列

关于“在CDP7.1.1中如何配置用户的Hive SQL的资源池队列 ”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。

推荐阅读:
  1. Java线程池实现原理及其在美团业务中的实践
  2. 服务器雪崩的场景怎么解决

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

cdp hive

上一篇:Nginx的web请求处理机制是怎样的

下一篇:怎么用Node.js和truffle框架搭建区块链投票系统!

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》