Ubuntu HDFS配置安全策略指南

Ubuntu 上 HDFS 安全策略实施指南

一 安全目标与总体架构

• 目标：实现身份可信（强认证）、最小权限（细粒度授权）、数据保密（传输与静态加密）、可审计（全链路日志）、网络与主机加固（边界与进程最小化暴露）。
• 架构要点：启用 Kerberos 统一认证；基于 RBAC + ACL 的权限模型；开启 TLS/SSL 传输加密与 HDFS 透明加密（TDE）；启用 审计日志；以 UFW 或 firewalld 实施最小暴露面；启用 AppArmor 等强制访问控制；保持系统与组件及时更新与监控告警。

二 身份与访问控制

• 启用 Kerberos 认证
  • 部署 KDC/Realm，为 NameNode、DataNode、ResourceManager、HistoryServer 等生成 keytab，并在服务启动前完成 kinit 或配置 keytab 自动续期；客户端统一通过 kinit 获取票据后访问 HDFS。
• 强化 HDFS 授权
  • 以 POSIX 权限 为基础，启用 ACL 为敏感目录设置用户/组/其他细粒度权限；结合 RBAC（如通过调度系统或代理层映射角色）实现业务级最小权限。
• 启用审计与一致性
  • 打开 HDFS 审计日志（记录用户、操作、时间、路径等），集中到 Ranger/Solr/ELK 做留存与告警；在变更窗口使用 安全模式 保护元数据一致性（如维护前进入、维护后退出）。

三 加密与数据保护

• 传输加密
  • 为 RPC、HTTP/HTTPS Web UI、HDFS 客户端 启用 TLS/SSL，配置 HTTPS 访问 NameNode/ResourceManager Web UI，禁用明文端口；客户端与集群间通信统一走 TLS。
• 静态加密
  • 为敏感目录启用 HDFS 透明加密（TDE）：创建 Encryption Zone（EZ） 与 Key Provider（如内置或外部 KMS），将敏感数据移入 EZ，密钥由 KMS 安全托管与轮换。
• 数据完整性与备份
  • 启用 HDFS 校验和 校验数据块完整性；对关键数据制定 定期备份与异地容灾 策略，并定期演练恢复流程。

四 网络安全与主机加固

• 防火墙最小暴露
  • Ubuntu 使用 UFW 或 firewalld 实施白名单：仅放行 SSH 管理网段、NameNode RPC（如 9000/TCP）、DataNode 数据端口范围、以及受限来源的 Web UI（如 50070/TCP）；默认拒绝其他入站。
• 禁用不必要服务与端口
  • 关闭未使用的 JMX/RMI 调试端口 与 Java JDWP 调试端口；对必须开放的 JMX 限制来源 IP 并启用 认证与 SSL。
• SSH 与系统加固
  • 禁用 root 直连、限制 SSH 源地址、使用 密钥登录；启用 AppArmor（Ubuntu 默认启用）限制 NameNode/DataNode 进程可访问的文件与目录。

五 监控审计与运维实践

• 持续监控与告警
  • 监控 NameNode/DataNode JMX、RPC 延迟/失败率、磁盘/网络异常、异常访问模式；对关键事件（如权限变更、EZ 变更、KMS 轮换失败）配置即时告警。
• 补丁与配置管理
  • 使用 unattended-upgrades 自动安装安全补丁；对 Hadoop/HDFS 配置变更采用 版本化与回滚 机制，变更前在测试环境验证。
• 最小权限运维
  • 运维与作业账号遵循最小权限；通过 代理/网关 统一接入，避免在节点上留存长期凭据；定期轮换 keytab/KMS 密钥 并审计使用记录。