Linux HDFS安全设置怎么做

Linux 上 HDFS 安全设置实操指南

一 认证与授权

• 启用 Kerberos 统一认证：为 NameNode、DataNode、ResourceManager、HistoryServer 等生成 keytab，并在 core-site.xml / hdfs-site.xml 中配置相关安全参数，确保只有经过验证的主体可访问 HDFS。
• 启用 权限检查 与 ACL：在 hdfs-site.xml 中开启 dfs.permissions.enabled=true、dfs.namenode.acls.enabled=true（如需 DataNode 侧也参与 ACL 校验可开启 dfs.datanode.acls.enabled）。
• 规划 RBAC：结合 Hadoop 服务账户（如 hdfs、yarn） 与业务账号，按“最小权限”分配目录与作业权限。
• 设置 默认权限掩码：通过 fs.permissions.umask-mode 控制新建文件/目录的默认权限，例如 022（更严格可用 027 或符号法 u=rwx,g=rx,o=）。
• 目录基线权限建议：将 /user 设为 1777（粘滞位），防止用户互相删除彼此文件；系统目录如 /user/mapred 设为 755；历史作业目录 /mr-history /mr-history/tmp /mr-history/done 可按需设为 777 以满足作业运行，但应限制非临时目录的访问。
• 常用命令示例：
  • 认证：kinit -kt /path/to/hdfs.keytab hdfs@REALM
  • 权限与 ACL：hdfs dfs -chmod 1777 /user、hdfs dfs -chown hdfs:hdfs /user/hdfs、hdfs dfs -setfacl -m user:alice:rwx /data。

二 加密与完整性

• 传输加密：为 HDFS 客户端与 DataNode/NameNode 之间的通信启用 SSL/TLS，防止链路窃听与中间人攻击。
• 存储加密：使用 HDFS 加密区域（Encryption Zones） 对敏感目录启用透明加密，密钥由 KMS 管理，读写对应用透明。
• 数据完整性：HDFS 在写入时生成 校验和，读取时自动校验；配合多副本机制提升可靠性与可用性。

三 审计与合规

• 启用 审计日志：记录用户、操作类型、时间、路径等，便于追溯与合规审计。可在 core-site.xml 配置审计日志路径与滚动策略，例如：
  • hadoop.security.audit.log.path=/var/log/hadoop-hdfs/audit.log
  • hadoop.security.audit.log.maxsize=1000000
  • hadoop.security.audit.log.maxbackupindex=10
• 集中化收集与告警：将审计日志接入 集中日志平台（如 ELK），结合 Prometheus/Grafana 设置异常访问与失败认证告警。

四 网络安全与最小暴露面

• 配置 防火墙/安全组：仅放通 NameNode RPC（默认 8020/9000）、DataNode 数据传输（50010/50020）、JournalNode（8485/8480） 等必要端口；管理面与数据面分离。
• 服务最小化：为 HDFS 进程配置最小权限的系统账号与 sudo 策略，禁用不必要的接口与插件。

五 运维加固与验证

• 安全模式管理：启动或维护时合理使用 安全模式，例如 hdfs dfsadmin -safemode enter/leave，在一致性要求下保护元数据与数据块。
• 用户与组一致性：确保 Linux 用户/组 与 HDFS 主体一致，必要时配置 用户映射（如 SimpleUIDMapping 与 /etc/hadoop/conf/users.map），避免权限错配。
• 补丁与配置基线：及时应用 Hadoop 安全补丁，固化 core-site.xml / hdfs-site.xml 安全参数基线，变更前后进行 影响评估与灰度。
• 例行核查：定期审计 权限/ACL、KMS 密钥轮转、Kerberos 票据有效期、审计日志完整性 与 异常访问。
• 快速验证清单：
  • klist 检查票据是否有效；
  • hdfs dfs -ls /user 校验目录权限与属主；
  • hdfs dfs -getfacl /data 校验 ACL 生效；
  • 查看 audit.log 是否有异常访问记录。