Ubuntu上HDFS如何进行安全加固

Ubuntu上HDFS安全加固清单

一 身份与访问控制

• 启用强认证：将 Hadoop 切换为 Kerberos，在 core-site.xml 设置 hadoop.security.authentication=kerberos，在 hdfs-site.xml 为 NameNode/Datanode 与 HTTP 分别配置主体与 keytab（如：dfs.namenode.kerberos.principal、dfs.namenode.keytab.file、dfs.namenode.http-authentication.kerberos.principal/keytab），并配置 hadoop.security.auth_to_local 规则完成主体到本地用户的映射。完成后使用 kinit 获取票据验证访问。
• 启用权限与 ACL：在 hdfs-site.xml 开启 dfs.permissions.enabled=true、dfs.namenode.acls.enabled=true、dfs.datanode.acls.enabled=true，通过 hdfs dfs -chmod/chown 与 hdfs dfs -setfacl/-getfacl 实施最小权限与细粒度授权。
• 代理用户最小化：在 core-site.xml 仅为需要的服务账户配置 hadoop.proxyuser..hosts/groups（避免使用通配 “*”），限定可代理的 用户/组/来源主机。
• 服务与目录隔离：以专用的 hdfs 系统用户运行服务，目录如 dfs.namenode.name.dir、dfs.datanode.data.dir 仅对 hdfs 可访问，避免其他系统账户读写。

二 加密与数据保护

• 传输加密：为客户端与 NameNode/Datanode/HTTP 通道启用 SSL/TLS（如 dfs.ssl.enabled 与相关证书配置），防止链路窃听与中间人攻击。
• 存储加密：对敏感目录启用 HDFS 透明数据加密（TDE），先创建密钥（如 hdfs crypto -createZone -keyName -path ），再对目录加密（如 hdfs crypto -encrypt -path -keyName ），确保静态数据保密性与合规性。
• 完整性校验：启用 HDFS 校验和与块校验（如 dfs.checksum.type=CRC32），在传输与落盘过程中自动验证数据完整性。

三 网络安全与主机加固

• 防火墙最小化：使用 ufw 仅放行必要端口与来源，例如 8020/9000（RPC）、50070/9870（HTTP）、50010（DataNode） 等，并按需限制为管理网段/IP 段访问。
• 网络分区与隔离：生产与测试/开发环境 VLAN/子网 隔离，核心服务与边缘访问分层，减少攻击面。
• SSH 安全：禁用 root 登录、更改默认端口、仅允许 密钥登录、限制可登录用户与来源网段。
• 强制访问控制：启用 AppArmor（Ubuntu 默认），为 NameNode/Datanode/JournalNode 进程配置受限配置文件，降低提权与横向移动风险。
• 系统更新与补丁：启用 unattended-upgrades 自动安全更新，定期评估并应用 Hadoop 与 Ubuntu 的安全补丁。

四 审计监控与备份恢复

• 审计日志：启用并集中存储 HDFS 审计日志（如 hadoop.security.audit.log.path），设置合理的 最大文件大小 与 保留个数，结合 ELK 或企业 SIEM 进行检索、告警与可视化。
• 实时监控与告警：对 NameNode/DataNode JMX、HTTP 访问日志、异常权限变更、大量小文件/失败访问 等设定阈值告警，缩短 MTTD/MTTR。
• 备份与灾难恢复：制定 全量/增量 备份策略（如 DistCp/快照/第三方方案），跨机房/地域保存副本，定期演练恢复流程并验证 RPO/RTO。
• 数据完整性复核：对关键数据定期执行 校验和 与抽样比对，配合 块扫描 修复静默损坏。

五 快速实施步骤与验证

• 规划与准备：确定 Kerberos Realm/KDC、服务主体命名规范（如 nn/_HOST@REALM、dn/_HOST@REALM）、端口与网段策略、加密区域目录清单。
• 配置与启用：依次完成 Kerberos 集成、权限/ACL、SSL/TLS、TDE、ufw/SSH/AppArmor、审计日志 与 备份 的配置；变更后按角色 滚动重启 服务。
• 验证与演练：使用 kinit 获取票据后执行 hdfs dfs -ls /、跨用户/跨组访问与 ACL 校验；验证 HTTPS 访问、加密区域读写、防火墙 阻断效果、审计日志 落盘与告警触发；定期执行 备份恢复演练 与 漏洞扫描。