Linux HDFS安全机制如何设置

Linux HDFS 安全机制设置指南

一 认证与授权

• 启用强认证：在集群启用 Kerberos，将 core-site.xml 的 hadoop.security.authentication 设为 kerberos，并配置 hadoop.security.authorization=true。在 hdfs-site.xml 为 NameNode/DataNode 配置 principal 与 keytab，确保各守护进程以票据运行。完成后在各节点执行 kinit 获取票据以验证身份链路。
• 启用权限与 ACL：在 hdfs-site.xml 开启 dfs.permissions.enabled=true 与 dfs.namenode.acls.enabled=true，必要时开启 dfs.datanode.acls.enabled=true，使 HDFS 强制执行 POSIX 权限与 ACL 细粒度控制。
• 代理用户与委托：为需要代理提交作业的服务账号（如 oozie、hive）在 core-site.xml 配置 hadoop.proxyuser..hosts 与 hadoop.proxyuser..groups（生产环境建议明确主机与组白名单，避免使用通配 “*”）。

二 加密与数据保护

• 传输加密：为客户端与 NameNode/DataNode 之间的通信启用 SSL/TLS，防止中间人窃听与篡改。
• 存储加密：使用 HDFS 透明加密（Encryption Zones） 对敏感目录启用静态加密，写入时自动加密、读取时透明解密，对业务应用无侵入。
• 数据完整性与可靠性：HDFS 在写入时计算并存储 校验和，读取时校验；配合多副本机制提升容错与可用性。

三 审计与访问控制实践

• 审计日志：启用 NameNode 审计日志，记录用户、操作类型、时间等，便于合规与溯源。可按需配置滚动与保留策略（如 dfs.namenode.audit.log.maxsize、maxbackup、rotation.period）。
• 权限与 ACL 常用命令：
  • 基本权限：hdfs dfs -chmod 755 /path，hdfs dfs -chown user:group /path
  • ACL 细粒度：hdfs dfs -setfacl -m user:alice:rwx /path，hdfs dfs -getfacl /path
• 权限继承与默认 ACL：对目录设置默认 ACL（setfacl -d）以让子对象继承策略；需要时设置 setgid 位配合目录默认权限策略，统一新创建对象的组与权限基线。

四 网络安全与最小暴露面

• 防火墙与端口：仅开放必要端口（如 8020/9000 等 IPC/RPC、50070/9870 Web UI、50075 DataNode HTTP），并限制来源网段。
• 安全组与 VPC：在云环境中使用 安全组 做白名单控制，隔离管理网与业务网，避免公网直连 NameNode/DataNode。
• 主机加固：关闭不必要的服务与端口，启用 SELinux/AppArmor（如适用），对 keytab 等凭据设置最小权限与严格访问控制。

五 运维与加固清单

• 安全模式：启动或维护时合理使用 安全模式（如启动阶段进入只读保护，数据一致后再退出），避免不一致状态下对外提供写服务。
• 用户与组一致性：保证所有节点 用户/组 ID 一致，或正确配置 Hadoop 用户-组映射，否则权限判定可能与预期不符。
• 补丁与更新：及时应用 Hadoop 及相关组件的安全补丁，定期巡检与加固操作系统与 JVM。
• 监控与告警：启用 审计日志 集中采集与长期留存，结合 监控/告警 观察异常访问与失败认证趋势，联动处置。