Linux下Hadoop如何进行安全防护

Linux下Hadoop安全防护实践

一 身份与访问控制

• 启用Kerberos强认证，统一对接企业AD/LDAP，关闭或限制simple认证；为所有服务主体（如nn/hdfs、dn/data、yarn/rm、nm）配置keytab并采用最小权限原则。
• 启用HDFS ACL与Ranger/Sentry实现细粒度授权（库/表/目录/列级），对敏感路径设置默认拒绝与显式放行。
• 谨慎使用代理用户/doAs，仅授予必要服务账号代理能力，并在Ranger中审计代理行为。
• 强化Linux系统账号与权限：禁用不必要的root直登，采用sudo授权；为Hadoop服务使用专用系统账号与最小权限目录；对关键文件设置600/700权限；必要时为管理通道启用MFA。

二 数据加密与完整性

• 静态数据加密：在HDFS Transparent Data Encryption（TDE）下使用HDFS KMS集中管理密钥，按目录/租户启用加密区，定期轮换密钥并审计密钥访问。
• 传输加密：为RPC、HTTP/HTTPS、HDFS DataTransferProtocol启用SASL/SSL/TLS，避免明文通信；在云或跨公网场景强制启用。
• 完整性校验：启用HDFS校验和（默认开启），对关键数据定期执行MD5/SHA-1或更强算法校验；备份与恢复流程纳入校验环节。

三 网络安全与隔离

• 最小化暴露面：仅开放必要端口（如HDFS NameNode RPC 9000、DataNode 50010/50020、NameNode Web UI 50070），其余端口默认拒绝；使用UFW/iptables或云安全组实施白名单。
• 网络分区与隔离：将管理网/业务网/存储网分离，限制横向移动；对敏感组件（如NameNode、ResourceManager）设置来源IP限制。
• 服务间安全通信：启用SASL保护RPC与HTTP通道，禁用明文协议与未加密HTTP访问。

四 审计监控与补丁运维

• 集中审计与日志：启用Hadoop审计日志与系统日志，通过rsyslog集中到SIEM/ELK，对异常访问、权限变更、密钥操作设置告警。
• 实时监控与告警：监控NameNode/DataNode/ResourceManager健康、磁盘/网络异常、请求延迟与失败率，结合阈值与基线进行告警。
• 漏洞与配置治理：建立定期补丁与配置基线机制，变更前后进行影响评估与回滚预案；备份配置与元数据，在升级或迁移时保障一致性。
• 备份与灾难恢复：对NameNode元数据、关键HDFS目录、Ranger策略进行定期备份与异地存放，并定期演练恢复流程。

五 快速加固清单与示例

• 快速加固清单
  • 身份：启用Kerberos；服务主体与keytab集中管理；Ranger/Sentry启用细粒度策略与审计。
  • 加密：启用HDFS TDE + KMS；RPC/HTTP启用SASL/TLS；备份与传输纳入校验和。
  • 网络：仅开放必要端口；管理网/业务网/存储网隔离；安全组与防火墙白名单。
  • 主机：禁用root直登与弱口令；服务账号最小权限；关键文件600/700；必要时启用MFA。
  • 运维：集中审计日志与监控告警；定期补丁与配置基线；备份与演练。
• Ubuntu示例（UFW与端口白名单）
  • 安装与启用UFW：sudo apt-get install ufw && sudo ufw enable
  • 仅放行业务所需端口与来源网段：
    • sudo ufw allow from 192.168.1.0/24 to any port 9000
    • sudo ufw allow 50010/tcp, 50020/tcp, 50070/tcp
    • sudo ufw default deny incoming
  • 注意：端口号随Hadoop版本与部署方式可能变化，请以实际配置为准。