Hadoop在Ubuntu上的权限管理

Hadoop 在 Ubuntu 上的权限管理

一 操作系统层权限

• 创建专用的 hadoop 用户与用户组，避免直接使用 root 运行服务。
  • 命令示例：sudo groupadd hadoop；sudo useradd -m -g hadoop -s /bin/bash hadoop
• 将 Hadoop 安装目录的所有权赋予 hadoop 用户（按需调整安装路径）。
  • 命令示例：sudo chown -R hadoop:hadoop /usr/local/hadoop
• 仅在需要时授予 sudo 权限，优先加入 sudo 组，使用 visudo 安全编辑。
  • 命令示例：sudo usermod -aG sudo hadoop；sudo visudo（不建议直接给 hadoop ALL=(ALL) NOPASSWD:ALL，生产环境应最小化授权）
• 配置本机 SSH 免密登录，便于启动/管理集群。
  • 命令示例：ssh-keygen -t rsa -P ‘’；cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys；chmod 600 ~/.ssh/authorized_keys；ssh localhost 验证
• 目录与文件权限建议：安装目录 755，数据/日志目录 750/700，由 hadoop 用户与 hadoop 组拥有，避免 777。

二 HDFS 与 Hadoop 权限模型

• HDFS 采用类 Unix 权限模型：对文件/目录设置 rwx 权限，并区分 owner/group/others；支持 chmod/chown/chgrp（HDFS 层面）。
• 启用 ACL 进行细粒度授权（超出 owner/group/others 的访问控制）。
  • 示例：hdfs dfs -setfacl -m u:alice:rwx /data；hdfs dfs -getfacl /data
• 统一用户映射与权限边界：
  • 建议服务与作业统一以 hadoop 用户运行，避免多用户混跑导致权限混乱。
  • 若需区分业务用户，使用 ACL 或专用目录隔离，并遵循最小权限原则。
• 典型目录权限建议：
  • /user：750（仅属主与同组可访问）
  • /user/：750（应用目录）
  • /tmp：1777（粘滞位，防误删）
  • 生产环境避免使用 777，优先以 ACL 精细化授权。

三 常见权限问题排查与修复

• 目录或文件“Permission denied”
  • OS 层：确认父目录对 hadoop 用户可执行（x），必要时 chown/chmod；HDFS 层：hdfs dfs -chmod/chown/chgrp 修正。
• SSH 免密失败
  • 检查 ~/.ssh 目录与 authorized_keys 权限：chmod 700 ~/.ssh；chmod 600 ~/.ssh/authorized_keys；确认公钥已追加到 authorized_keys；ssh localhost 验证。
• 启动/格式化 NameNode 失败
  • 确认 hadoop 用户对 Hadoop 安装目录与数据目录拥有写权限；必要时以 hadoop 用户执行相关命令，而非 root。
• 权限正确但仍被拒
  • 检查父目录链路权限是否连贯；确认运行进程的实际用户（ps -ef | grep hadoop）；查看 NameNode/DataNode 与 ResourceManager 日志定位 ACL/权限校验失败原因。

四 安全加固建议

• 最小权限原则：仅在需要时授予 sudo，避免为 hadoop 用户配置 NOPASSWD:ALL；服务与作业统一以 hadoop 用户运行。
• 启用 Kerberos 进行强身份认证（生产环境推荐），结合 HDFS ACL 实现细粒度授权。
• 网络与端口控制：使用 ufw 仅开放必要端口（如 9000/50070/50010/50020 等），限制来源网段访问。
• 数据与传输加密：对敏感数据启用存储与传输加密（如 HDFS 透明加密、TLS），并开启审计日志以追溯访问行为。