Linux环境下HDFS权限配置指南

1. 前提：配置Hadoop基础环境

在配置HDFS权限前，需确保Hadoop集群已正确安装并配置。核心配置文件为core-site.xml（全局配置）和hdfs-site.xml（HDFS特定配置），需放置在$HADOOP_HOME/etc/hadoop/目录下。

2. 启用HDFS权限检查

要强制HDFS执行权限验证，需修改hdfs-site.xml，添加或修改以下配置：

<property>
    <name>dfs.permissions.enabled</name>
    <value>true</value> <!-- 设为true启用权限检查 -->
</property>

修改后需重启HDFS集群使配置生效：start-dfs.sh。

3. 配置用户与组映射

HDFS的用户和组概念与Linux系统一致，需确保集群节点上的Linux用户/组已创建，并正确映射到HDFS。

3.1 创建Linux用户与组

使用以下命令创建用户（如hadoopuser）和组（如hadoopgroup），并将用户加入组：

sudo groupadd hadoopgroup       # 创建组
sudo useradd -g hadoopgroup hadoopuser  # 创建用户并加入组

3.2 配置Hadoop用户映射

编辑core-site.xml，添加用户与UID的映射（可选，用于统一用户标识）：

<property>
    <name>hadoop.security.uid.mapping.file</name>
    <value>/etc/hadoop/conf/users.map</value> <!-- 映射文件路径 -->
</property>

在/etc/hadoop/conf/users.map中定义映射关系（格式：linux_user:hdfs_uid）：

hadoopuser:1001
hadoopgroup:1002

3.3 配置代理用户（可选）

若需允许某用户（如hdfs）以其他用户身份访问HDFS，需配置代理用户：

<property>
    <name>hadoop.proxyuser.hdfs.hosts</name>
    <value>*</value> <!-- 允许所有主机 -->
</property>
<property>
    <name>hadoop.proxyuser.hdfs.groups</name>
    <value>*</value> <!-- 允许所有组 -->
</property>

修改后重启HDFS集群。

4. 设置基本权限（POSIX模型）

HDFS采用类似Linux的POSIX权限模型，每个文件/目录有所有者（owner）、所属组（group）和其他用户（others）三类权限，分别对应读（r）、写（w）、执行（x）。

4.1 权限说明

• 文件：r（读取内容）、w（修改内容）、x（执行，无意义，HDFS中忽略）。
• 目录：r（列出内容）、w（创建/删除子文件/目录）、x（进入目录）。

4.2 常用命令

• 查看权限：hdfs dfs -ls /path/to/file_or_directory（输出示例：-rwxr-xr-- hadoopuser hadoopgroup 1024 2025-11-01 10:00 file.txt）。
• 修改权限：hdfs dfs -chmod [权限] /path/to/file_or_directory（权限可用八进制如755或符号如u=rwx,g=rx,o=r）。
  示例：设置所有者有rwx权限，组和其他用户有r-x权限：hdfs dfs -chmod 755 /user/hadoop/testdir。
• 修改所有者：hdfs dfs -chown [owner]:[group] /path/to/file_or_directory（需HDFS超级用户权限）。
  示例：将文件所有者改为hadoopuser，组改为hadoopgroup：hdfs dfs -chown hadoopuser:hadoopgroup /user/hadoop/testfile.txt。
• 修改组：hdfs dfs -chgrp [group] /path/to/file_or_directory（无需超级用户权限，但需是文件所有者）。
  示例：将文件组改为hadoopgroup：hdfs dfs -chgrp hadoopgroup /user/hadoop/testfile.txt。

5. 配置ACL（访问控制列表）

若需更细粒度的权限控制（如为特定用户/组设置额外权限），可使用HDFS的ACL功能（默认关闭）。

5.1 启用ACL

修改hdfs-site.xml，添加以下配置：

<property>
    <name>dfs.namenode.acls.enabled</name>
    <value>true</value> <!-- 设为true启用ACL -->
</property>

修改后重启HDFS集群。

5.2 常用ACL命令

• 设置ACL：hdfs dfs -setfacl -m [条目] /path/to/file_or_directory（条目格式：user:username:permissions或group:groupname:permissions）。
  示例：为用户alice添加rwx权限：hdfs dfs -setfacl -m user:alice:rwx /user/hadoop/testdir。
• 查看ACL：hdfs dfs -getfacl /path/to/file_or_directory（输出示例：user::rwx、user:alice:rwx、group::r-x、other::r--）。
• 删除ACL：hdfs dfs -setfacl -x [条目] /path/to/file_or_directory（示例：删除alice的权限：hdfs dfs -setfacl -x user:alice /user/hadoop/testdir）。
• 设置默认ACL：hdfs dfs -setfacl -m default:user:username:permissions /path/to/directory（默认ACL会继承到子目录/文件，仅目录有效）。
  示例：设置默认ACL，使子目录继承user:bob:rwx权限：hdfs dfs -setfacl -m default:user:bob:rwx /user/hadoop/testdir。

6. 配置审计日志（可选）

审计日志可记录所有HDFS访问操作，便于追踪权限违规行为。修改core-site.xml，添加以下配置：

<property>
    <name>hadoop.security.audit.log.enabled</name>
    <value>true</value> <!-- 启用审计日志 -->
</property>
<property>
    <name>hadoop.security.audit.log.path</name>
    <value>/var/log/hadoop-hdfs/audit.log</value> <!-- 日志路径 -->
</property>
<property>
    <name>hadoop.security.audit.log.maxsize</name>
    <value>10485760</value> <!-- 单个日志文件最大大小（10MB） -->
</property>
<property>
    <name>hadoop.security.audit.log.maxbackupindex</name>
    <value>10</value> <!-- 最多保留10个备份日志 -->
</property>

修改后重启HDFS集群，审计日志将记录所有访问操作的详细信息（如用户、操作类型、路径、时间）。

7. 验证权限配置

完成配置后，需通过实际操作验证权限是否生效：

• 测试访问权限：使用不同用户（如hadoopuser、alice）执行hdfs dfs -ls、hdfs dfs -cat、hdfs dfs -put等命令，确认是否符合权限设置。
  示例：若testdir的权限为750，则非组用户无法列出目录内容：hdfs dfs -ls /user/hadoop/testdir（非组用户会报Permission denied）。
• 测试ACL权限：使用被授权的用户（如alice）执行操作，确认是否具有相应权限。
  示例：hdfs dfs -put localfile.txt /user/hadoop/testdir（若alice有w权限，则操作成功）。

通过以上步骤，可在Linux环境下完成HDFS的权限配置，确保数据的安全性和访问控制。根据实际需求，可调整权限粒度（如使用ACL）或增强身份验证（如Kerberos集成）。