Ubuntu HDFS配置中安全设置有哪些

Ubuntu上HDFS的安全设置清单

一 身份与访问控制

• 启用强身份认证：将 Hadoop 切换为 Kerberos，在 core-site.xml 设置 hadoop.security.authentication=kerberos，并在 hdfs-site.xml 为主备 NameNode/DataNode 配置主体与 keytab（如 dfs.namenode.kerberos.principal、dfs.datanode.kerberos.principal 等），确保只有持有效票据的主体可访问 HDFS。完成后用 kinit 获取票据验证。
• 启用权限校验：在 hdfs-site.xml 打开 dfs.permissions.enabled=true，使用 POSIX 权限模型（用户/组/其他）控制访问。
• 细粒度授权：通过 ACL 为特定用户/组授予超出传统权限的访问能力，例如：
  • 设置 ACL：hdfs dfs -setfacl -m user:alice:rwx /data
  • 查看 ACL：hdfs dfs -getfacl /data
• 审计与合规：启用并落盘 HDFS 审计日志，便于追踪访问与变更。示例（core-site.xml）：
  • hadoop.security.audit.log.path=/var/log/hadoop-hdfs/audit.log
  • hadoop.security.audit.log.maxsize=1000000
  • hadoop.security.audit.log.maxbackupindex=10
• 授权模型建议：结合 RBAC（如与 Apache Ranger/Sentry 集成）统一管理策略与审计。

二 加密与数据保护

• 传输加密：为 HDFS RPC、HTTP/HTTPS 等通道启用 SSL/TLS，防止数据在网络传输中被窃听或篡改。
• 静态加密：启用 HDFS 透明数据加密（TDE），对落盘数据进行自动加解密，对用户透明。
• 数据完整性：启用 校验和 校验（如 MD5/SHA-1），在传输与存储过程中发现数据损坏。
• 备份与恢复：制定定期备份与异地容灾策略，并定期演练恢复流程，降低数据丢失风险。

三 网络安全与主机加固

• 边界防护：使用 ufw 限制对 NameNode/DataNode 管理端口与数据端口的访问，仅放通管理网/业务网白名单。
• 主机加固：
  • 强化 SSH（禁用 root 登录、限制可登录用户、修改默认端口、使用密钥登录）。
  • 启用 AppArmor/SELinux 等强制访问控制框架，限制进程对敏感目录与文件的访问。
• 系统维护：启用 unattended-upgrades 自动安全更新，及时修补内核与组件漏洞。

四 审计监控与高可用

• 审计与监控告警：启用 HDFS 审计日志 与集群监控（如 Prometheus/Ganglia），对异常访问、权限变更、NameNode/DataNode 异常等配置告警。
• 数据可用性与一致性：结合 HDFS 副本机制 与 校验和 保障数据可靠性；在异常场景下按流程恢复。
• 集群高可用：部署 HA NameNode（QJM/ZKFC）避免单点故障，减少维护窗口对业务的影响。

五 易混淆概念说明 HDFS安全模式

• HDFS 安全模式（SafeMode） 是 NameNode 启动或异常恢复阶段的一种保护状态：仅允许读操作，禁止写/删/改，用于保障元数据一致性与块副本达标。
• 常用命令：
  • 查看状态：hdfs dfsadmin -safemode get
  • 手动进入：hdfs dfsadmin -safemode enter
  • 手动离开：hdfs dfsadmin -safemode leave
  • 等待退出：hdfs dfsadmin -safemode wait
• 关键参数（hdfs-site.xml）：
  • dfs.namenode.replication.min：最小副本数（默认 1）
  • dfs.namenode.safemode.threshold-pct：需满足最小副本的块占比阈值（默认 0.999f）
  • dfs.namenode.safemode.min.datanodes：退出前要求的最小 DataNode 存活数（默认 0）
  • dfs.namenode.safemode.extension：达标后需维持的额外时间（毫秒，默认 30000）
• 说明：安全模式是集群自我保护机制，不等同于“身份认证/加密/授权”等安全设置，但在生产运维中需正确理解与处置。