Ubuntu上HDFS如何进行权限管理

Ubuntu上HDFS权限管理实战指南

一 核心概念与权限模型

• HDFS采用类POSIX的权限模型：每个文件/目录关联所有者 owner、所属组 group与权限位 rwx。对文件：r读取、w写入/追加；对目录：r列目录、w创建/删除子项、x进入子目录。支持粘滞位 Sticky（仅对目录，防止非所有者删除他人文件）、无 setuid/setgid。权限检查顺序为：先匹配owner，再匹配group，最后other。支持ACL以实现对指定用户/组的细粒度授权。HDFS的“用户/组”来自客户端进程身份与组映射服务，并非HDFS内置账户体系。超级用户通常是启动NameNode的进程用户，也可通过配置指定超级用户组。

二 快速上手命令

• 查看权限与属主
  • 列出目录：hdfs dfs -ls /path
  • 查看ACL：hdfs dfs -getfacl /path（权限字符串后带“+”表示启用ACL）
• 修改权限/属主/属组
  • 改权限：hdfs dfs -chmod 755 /path（八进制，r=4,w=2,x=1）
  • 改属主：hdfs dfs -chown alice /path（仅超级用户）
  • 改属组：hdfs dfs -chgrp data /path（需为属主且属于目标组，或为超级用户）
• 目录粘滞位（共享目录防误删）
  • 设置：hdfs dfs -chmod 1777 /shared
• ACL常用
  • 为用户/组授权：hdfs dfs -setfacl -m user:alice:rwx,group:data:r-x /project
  • 递归与默认ACL：hdfs dfs -setfacl -R -m default:user:bob:rwx /project
  • 删除ACL条目：hdfs dfs -setfacl -x user:alice /project
• 典型最小权限示例
  • 团队共享目录：hdfs dfs -mkdir -p /data && hdfs dfs -chmod 1777 /data
  • 项目目录（仅团队写、他人只读）：hdfs dfs -mkdir -p /project && hdfs dfs -chown alice:data /project && hdfs dfs -chmod 750 /project
  • 对个别外部协作者精细授权：hdfs dfs -setfacl -m user:bob:r-x /project

三 关键配置与启用ACL

• 启用/关闭权限检查（默认开启）：
  • dfs.permissions.enabled = true
• 启用ACL（默认关闭）：
  • dfs.namenode.acls.enabled = true
• 创建文件/目录的默认umask（八进制）：
  • fs.permissions.umask-mode = 0022
• 超级用户组（可选）：
  • dfs.permissions.superusergroup = supergroup
• Web UI身份（避免泄露过宽权限）：
  • dfs.web.ugi = webuser,webgroup
• 组映射服务（常见为JNI或Shell映射）：
  • hadoop.security.group.mapping = org.apache.hadoop.security.JniBasedUnixGroupsMapping
• 提示：修改配置后需重启NameNode；ACL启用后，ls 输出权限末尾会出现“+”。在生产中建议保持权限开启，用ACL补充细粒度授权。

四 身份与认证及常见问题

• 身份与认证
  • 简单模式（测试/单机）：hadoop.security.authentication = simple，身份取自操作系统用户（如 whoami）。
  • Kerberos模式（生产）：hadoop.security.authentication = kerberos，通过 kinit 获取票据，主体如 todd/foobar@CORP.COMPANY.COM 映射为HDFS用户 todd。
• 常见故障排查
  • 权限不足（AccessControlException）：核对路径上每一级的owner/group/other权限与ACL；必要时用 -setfacl 补齐；目录缺少 x 将无法进入；共享目录建议设1777并配合组策略。
  • 新建文件权限不符合预期：检查 umask（如 0022 会使新建文件权限为 644、目录 755）；ACL存在时，chmod 实际修改的是掩码，可能收紧扩展ACL的有效权限。
  • 组映射不符：确认 hadoop.security.group.mapping 实现与系统组一致；必要时在提交作业前用系统命令验证用户所属组。
  • Web UI访问受限：检查 dfs.web.ugi 是否过宽；若设为超级用户将能浏览更多内容，建议专设低权限账户。