CentOS HDFS权限设置指南

一、前置准备：配置Hadoop核心参数

在设置HDFS权限前，需先修改Hadoop核心配置文件，启用权限管理及ACL功能。

1. 修改core-site.xml

添加或修改以下属性，允许代理用户访问（<username>替换为实际需要代理的用户，如hadoop）：

<property>
    <name>hadoop.proxyuser.<username>.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.<username>.groups</name>
    <value>*</value>
</property>

2. 修改hdfs-site.xml

启用权限检查和ACL功能，确保以下属性设置为true：

<property>
    <name>dfs.permissions.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.namenode.acls.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.datanode.acls.enabled</name>
    <value>true</value>
</property>

修改完成后，重启HDFS服务使配置生效：

systemctl restart hadoop-namenode
systemctl restart hadoop-datanode

二、创建Linux用户与组

HDFS权限通常与Linux系统的用户/组关联，建议为Hadoop集群创建专用用户和组。

1. 创建组

sudo groupadd hadoopgroup  # 创建Hadoop专用组

2. 创建用户并加入组

sudo useradd -G hadoopgroup hadoopuser  # 创建用户并加入hadoopgroup
sudo passwd hadoopuser  # 设置用户密码

三、基础权限设置：chmod/chown/chgrp

使用Hadoop命令行工具设置HDFS文件/目录的POSIX权限（类似Linux系统）。

1. 修改文件/目录权限

• 文件权限（如644：所有者可读写，组和其他人可读）：

  hdfs dfs -chmod 644 /path/to/file
  

• 目录权限（如755：所有者可读写执行，组和其他人可读执行）：

  hdfs dfs -chmod 755 /path/to/directory
  

• 递归修改权限（适用于目录及其子项）：

  hdfs dfs -chmod -R 755 /path/to/directory
  

2. 修改所有者/所属组

• 修改所有者（如将/path/to/file所有者设为hadoopuser）：

  hdfs dfs -chown hadoopuser:hadoopgroup /path/to/file
  

• 修改所属组（如将/path/to/directory所属组设为hadoopgroup）：

  hdfs dfs -chgrp hadoopgroup /path/to/directory
  

四、细粒度权限控制：ACL（访问控制列表）

ACL允许为特定用户或组设置额外权限，突破POSIX权限的限制。

1. 设置ACL权限

• 为用户添加权限（如为用户user1添加rwx权限）：

  hdfs dfs -setfacl -m user:user1:rwx /path/to/directory
  

• 为组添加权限（如为组hadoopgroup添加r-x权限）：

  hdfs dfs -setfacl -m group:hadoopgroup:r-x /path/to/directory
  

• 设置默认ACL（新创建的子项继承父目录权限）：

  hdfs dfs -setfacl -m d:user:user1:rwx /path/to/directory
  

2. 查看与删除ACL

• 查看ACL规则：

  hdfs dfs -getfacl /path/to/directory
  

• 删除用户权限（如删除user1的所有权限）：

  hdfs dfs -setfacl -x user:user1 /path/to/directory
  

• 删除所有ACL规则（恢复为默认权限）：

  hdfs dfs -setfacl -b /path/to/directory
  

五、验证权限设置

设置完成后，需通过以下命令验证权限是否生效。

1. 列出目录内容（查看权限）

hdfs dfs -ls /path/to/directory

输出示例：

drwxr-xr-x   hadoopuser hadoopgroup  /path/to/directory

2. 尝试访问文件

• 读取文件：

  hdfs dfs -cat /path/to/file
  

• 下载文件：

  hdfs dfs -copyToLocal /path/to/file ./local_file
  

若权限设置正确，具备相应权限的用户可正常访问；无权限用户会提示Permission denied。

注意事项

1. 安全模式：修改权限前，确保HDFS已退出安全模式（可通过hdfs dfsadmin -safemode get查看状态，若在安全模式需执行hdfs dfsadmin -safemode leave退出）。
2. 权限继承：父目录的权限会继承给子目录/文件，若需覆盖，需显式修改子项权限。
3. 日志监控：定期检查HDFS审计日志（通常位于/var/log/hadoop/hdfs/），确保权限策略未被违规绕过。
4. Kerberos集成：若集群启用了Kerberos认证，需先通过kinit获取票据再进行权限操作（如sudo kinit hdfs）。