Debian HDFS配置中的安全设置

Debian 上 HDFS 的安全设置实践

一 身份鉴别 Kerberos

• 在 Debian 上安装并配置 MIT Kerberos KDC（如包 krb5-kdc、krb5-admin-server），统一创建 Principal 与 keytab，并分发到各节点（如 /etc/security/keytabs/hdfs.keytab）。示例 Principal：hdfs/_HOST@EXAMPLE.COM。完成后在各节点确保 /etc/krb5.conf 一致。
• 启用 Hadoop 强认证：在 core-site.xml 设置
  • hadoop.security.authentication=kerberos
  • hadoop.security.authorization=true
    在 hdfs-site.xml 配置服务主体：
  • dfs.namenode.kerberos.principal=hdfs/_HOST@EXAMPLE.COM
  • dfs.datanode.kerberos.principal=hdfs/_HOST@EXAMPLE.COM
    使用 kinit 获取用户票据、klist 查看票据、ktadd 导出 keytab，验证客户端到 NameNode/DataNode 的认证是否成功。

二 授权与访问控制

• 启用 HDFS 文件/目录权限模型：在 core-site.xml 设置 hadoop.security.authorization=true，通过 hdfs dfs -ls /、hdfs dfs -chmod、hdfs dfs -chown 管理权限与属主，确保与操作系统 用户/用户组 一致。
• 细粒度授权：启用 ACL（访问控制列表）为关键目录设置更细的读/写/执行权限，满足多团队、多项目隔离需求。
• 集中式授权与审计：引入 Apache Ranger 对 HDFS/YARN/Hive 等组件进行统一的策略管理与审计，便于合规与追溯。
• 主机加固：在 Debian 上结合 SELinux/AppArmor 对 Hadoop 进程进行最小权限约束，降低被提权后的横向移动风险。

三 加密与传输安全

• 传输中加密：开启 Data Transfer Encryption（如启用 SASL/SSL 以保护 Client-DataNode、DataNode-DataNode 的数据传输），防止链路窃听与篡改。
• 静态数据加密：启用 HDFS 透明加密（TDE），对写入 DataNode 磁盘的数据进行透明加密，降低介质丢失或非法访问导致的数据泄露风险。
• 合规场景：结合 GDPR/HIPAA/PCI DSS 等要求，采用“传输加密 + 存储加密 + 访问控制 + 审计”的组合方案，形成端到端的数据保护闭环。

四 安全模式 Safemode 的正确使用

• 概念与影响：安全模式是 NameNode 启动或维护期间的保护状态，仅允许只读操作，禁止写/删/改/重命名等变更；用于保障元数据一致性与块副本健康度。
• 关键参数（hdfs-site.xml）：
  • dfs.namenode.replication.min：文件写入成功的最小副本数（默认 1）
  • dfs.namenode.safemode.threshold-pct：达到最小副本数的 Block 占比阈值（默认 0.999）
  • dfs.namenode.safemode.min.datanodes：离开安全模式的最小可用 DataNode 数量（默认 0）
  • dfs.namenode.safemode.extension：条件满足后需持续稳定的额外等待时间（默认 30000 ms）
• 常用命令：
  • 查看状态：hdfs dfsadmin -safemode get
  • 手动进入：hdfs dfsadmin -safemode enter（维护/升级时用于只读保护）
  • 强制离开：hdfs dfsadmin -safemode leave
  • 等待退出：hdfs dfsadmin -safemode wait
• 运维提示：扩容或副本修复期间，若阈值设置过高或 DataNode 未及时上报块信息，可能导致 NameNode 长时间停留在安全模式；可结合集群规模与副本因子合理调整 threshold-pct、min.datanodes、extension。

五 快速检查清单

• 已部署 KDC，各节点 /etc/krb5.conf 一致，服务与客户端 Principal/keytab 正确且权限受限（如 600）。
• Hadoop 配置启用 Kerberos 认证 与 授权，关键目录已设置 ACL 与最小权限。
• 已开启 传输加密 与（如适用）HDFS 透明加密，密钥/密钥库妥善管控。
• 安全模式阈值与 DataNode 健康度匹配，变更窗口内合理使用 enter/leave/wait 命令。
• 启用 Ranger 或等效审计机制，保留关键操作审计日志并定期巡检。