Hadoop在Ubuntu上的安全性如何保障

Hadoop在Ubuntu上的安全加固清单

一 身份与访问控制

• 启用强认证：在生产环境启用 Kerberos，将 Hadoop 的身份认证从简单模式切换为 Kerberos。在 core-site.xml 设置：
  • hadoop.security.authentication=kerberos
  • 在 hdfs-site.xml 配置 NameNode/DataNode 等服务的 principal 与 keytab，完成服务主体注册与票据分发。
• 细粒度授权：在 HDFS 启用 RBAC（如通过 Apache Ranger/Sentry）对用户与组进行细粒度权限控制，避免仅依赖操作系统账号与目录权限。
• 主机与系统账户：为 Hadoop 创建专用系统用户与组（如 hadoop），最小权限运行服务；SSH 采用密钥认证，禁用 root 登录与密码登录，仅允许受控主机与用户接入。

二 传输与静态数据加密

• 传输加密：为 RPC、HTTP/HTTPS、HDFS 客户端与 DataNode/NameNode 之间启用 SSL/TLS，防止数据在网络传输中被窃听或篡改。
• 静态加密：对 HDFS 启用透明数据加密（TDE），对敏感目录/数据集进行加密存储，密钥由 KMS 集中管理，读写对业务透明。
• 完整性校验：启用 HDFS 校验和（如 CRC32） 与块级校验，确保数据在传输与落盘过程中的完整性。

三 网络安全与主机加固

• 边界与端口：使用 ufw 仅放行必要端口（如 HDFS NameNode RPC 9000、数据传输端口等），对管理端口与敏感端口限制来源 IP；默认拒绝入站，按需放行出站。
• 服务最小化：仅部署与启用必要的 Hadoop 组件与端口，关闭未使用的 Web UI 与调试接口；对外部访问启用反向代理与访问控制。
• 主机加固：启用 AppArmor（Ubuntu 默认），按需配置 SELinux 策略；启用 自动安全更新（unattended-upgrades） 及时修补内核与组件漏洞；为 SSH 更改默认端口、限制可登录用户与来源网段。

四 审计、监控与备份恢复

• 审计与日志：开启 Hadoop 审计日志 与系统审计（如 auditd），记录用户身份、访问对象、操作类型与时间戳，集中到 ELK/Splunk 等平台进行留存与检索。
• 监控与告警：部署 监控与告警（如 Prometheus/Grafana 与日志告警），对异常登录、权限变更、服务异常、流量异常等进行实时检测与处置。
• 入侵防护：结合 Fail2Ban 等工具对暴力破解进行自动封禁，降低被入侵风险。
• 备份与恢复：制定 定期备份与异地容灾 策略，定期演练恢复流程，确保勒索或误删场景下的 RPO/RTO 达标。

五 快速落地步骤

• 规划与准备：确定安全域与网段划分，准备 Kerberos Realm 与 KDC，生成服务 principal/keytab，同步时间（NTP），建立专用 hadoop 用户与组。
• 配置认证与授权：在 core-site.xml/hdfs-site.xml 启用 Kerberos 并配置主体与 keytab；通过 Ranger/Sentry 建立用户/角色/策略，覆盖 HDFS 与关键服务。
• 启用加密：为 RPC/HTTP 启用 SSL/TLS；在 HDFS 启用 TDE 并配置 KMS；验证加密通道与密钥轮换流程。
• 加固网络与主机：用 ufw 实施白名单策略；SSH 仅密钥登录并限制来源；启用 AppArmor 与 unattended-upgrades；关闭未使用端口与服务。
• 审计与监控：开启 审计日志 与系统审计，集中到日志平台；部署 监控/告警 与 Fail2Ban；建立 备份与恢复 演练计划并定期验证。