Ranger Hive-HDFS ACL同步的示例分析

发布时间:2021-12-09 11:13:21 作者:小新
来源:亿速云 阅读:277

这篇文章给大家分享的是有关Ranger Hive-HDFS ACL同步的示例分析的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。


Ranger Hive-HDFS ACL同步概述

Ranger资源映射服务器(Resource Mapping Server:RMS)可以将访问策略从Hive自动转换为HDFS。


关于Hive-HDFS ACL同步

旧版CDH用户使用Apache Sentry中的Hive策略,该策略自动将Hive权限与HDFS ACL链接在一起。这对于Spark或Hive使用的外部表数据特别方便。

以前,Ranger仅支持分别管理Hive策略和HDFS策略。现在使用Ranger RMS,您可以使用为Hive表定义的策略来授权对HDFS目录和文件的访问。RMS是启用Hive-HDFS ACL同步的服务。

RMS会定期连接到Hive Metastore,并将Hive元数据(数据库名称、表名)提取到HDFS的文件名映射。Ranger HDFS插件(在NameNode中运行)已通过附加的HivePolicyEnforcer模块进行了扩展。HDFS插件从Ranger Admin下载Hive策略,并从Ranger RMS下载映射。HDFS访问由HDFS策略和Hive策略共同决定。

Ranger Hive-HDFS ACL同步的示例分析

Ranger Hive-HDFS ACL同步的示例分析

Ranger RMS的假设和限制

Ranger Hive-HDFS ACL同步的示例分析

与Sentry HDFS ACL同步的比较

RMS ACL同步功能类似于Sentry HDFS ACL同步功能,它下载并跟踪Hive表到HDFS位置映射的方式。

它与Sentry的不同之处在于,它完全透明地支持Ranger策略代表的所有功能。因此,此实现包括对基于标记的策略、安全区域、掩码和行过滤以及审核日志记录的支持。

此外,通过在HDFS端进行简单配置即可启用或禁用此功能,从而使每个安装都可以选择打开或关闭此功能。

原文链接:https://docs.cloudera.com/cdp-private-cloud-base/7.1.5/security-ranger-rms-configuring-and-using/topics/security-ranger-rms-overview.html

Ranger Hive-HDFS ACL同步的示例分析

配置Hive-HDFS ACL同步的高可用性

使用以下步骤为Ranger资源映射服务器(RMS)和Hive-HDFS ACL Sync配置高可用性。

  1. 在Cloudera Manager中,选择“ Ranger RMS”,然后选择“操作”>“添加角色实例”

Ranger Hive-HDFS ACL同步的示例分析

  1. 在“添加角色实例”页面上,单击“选择主机”

Ranger Hive-HDFS ACL同步的示例分析

  1. 在“所选主机”页面上,选择备份Ranger RMS主机。所选主机的“添加的角色”列中将显示“ Ranger RM(RR)”图标。单击确定继续。

Ranger Hive-HDFS ACL同步的示例分析

  1. 新的备份主机将重新显示“添加角色实例”页面。点击 继续

Ranger Hive-HDFS ACL同步的示例分析

  1. 在“查看更改”页面上查看设置,然后单击“继续”

Ranger Hive-HDFS ACL同步的示例分析

  1. 新角色实例将显示在“ Ranger RMS”页面上。

Ranger Hive-HDFS ACL同步的示例分析

  1. 在Cloudera Manager中,选择Ranger RMS,然后单击Configuration

    1. 选择“ Ranger RMS服务器高可用性”复选框。在“ Ranger RMS服务器ID”框中,为每个RMS服务器添加以逗号分隔的ID列表。

Ranger Hive-HDFS ACL同步的示例分析

注意

如果启用了SSL,请使用端口8484。

Ranger Hive-HDFS ACL同步的示例分析

  1. 点击保存更改,然后点击重新启动图标。

  2. 在Stale Configurations页面上,单击Restart Stale Services

  3. 在“重新启动旧服务”页面上,选中“重新部署客户端配置”复选框,然后单击“立即重新启动”

  4. 重新启动服务时,将显示进度指示器页面。服务重新启动后,单击完成

原文链接:https://docs.cloudera.com/cdp-private-cloud-base/7.1.5/security-ranger-rms-configuring-and-using/topics/security-ranger-rms-configure-ha.html

Ranger Hive-HDFS ACL同步的示例分析

配置Hive-HDFS ACL同步

安装后应完全配置Ranger资源映射服务器(RMS)。本主题提供有关RMS配置设置和工作流的更多信息。

重要配置信息

ranger-rms.HMS.map.managed.tables=true

ranger.plugin.hdfs.chained.services = cm_hive

ranger.plugin.hdfs.chained.services.cm_hive.impl = org.apache.ranger.chainedplugin.hdfs.hive.RangerHdfsHiveChainedPlugin

注意

如果启动Ranger RMS并与Hive Metastore同步后更改了这些配置中的任何一个,则让Ranger RMS使用新配置的唯一方法是执行以下步骤:

  1. 停止Ranger RMS。

  2. 登录到Ranger RMS数据库,然后运行delete from x_rms_mapping_provider;以从该表中删除唯一的行。

  3. 启动Ranger RMS。

重新启动后,Ranger RMS将重新同步Hive Metastore中的所有数据。这可能会花费大量时间,具体取决于Hive Metastore中Hive表的数量。

Ranger Hive-HDFS ACL同步的示例分析

了解Ranger的RMS策略

在较高级别上,Ranger RMS工作流程如下:

HDFS ‘read’ ==> Hive ‘select’HDFS ‘write’ ==> Hive ‘update’ or ‘alter’HDFS ‘execute’ ==> 任何Hive权限

在HDFS访问评估期间以及在Hive访问评估阶段(如果需要)都考虑了适当的标记策略。同样,将生成一个或多个日志记录,以指示由哪个策略(如果有)做出访问决定。

以下方案说明了如何确定访问权限。所有方案都假定Ranger HDFS策略未明确拒绝访问HDFS位置。

感谢各位的阅读!关于“Ranger Hive-HDFS ACL同步的示例分析”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!

推荐阅读:
  1. php去掉最后几个字符的方法
  2. php如何修改目录权限

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

ranger hive hdfs

上一篇:如何进行Flink 1.11 Unaligned Checkpoint 解析

下一篇:Docker Consul集群环境搭建的方法是什么

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》