Hadoop安全设置Ubuntu上如何操作

Ubuntu上Hadoop安全设置实操指南

一 基础加固

• 创建专用系统账户与组，避免使用 root 运行服务
  sudo addgroup hadoop
  sudo adduser --ingroup hadoop hadoop
• 配置 SSH 免密登录（仅限集群内可信主机）
  sudo apt-get install -y openssh-server openssh-client
  ssh-keygen -t rsa -P ‘’
  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  chmod 600 ~/.ssh/authorized_keys
• 启用并收紧 UFW 防火墙（按需开放端口，默认拒绝入站）
  sudo ufw enable
  sudo ufw default deny incoming
  sudo ufw allow 22/tcp
  sudo ufw allow 8020,9000,50070,50470,50090,50075,50475,50010,50020,8088,8030:8033,8040:8042,10020,19888/tcp
• 系统与组件及时更新，启用自动安全更新
  sudo apt update && sudo apt upgrade -y
  sudo apt install -y unattended-upgrades && sudo dpkg-reconfigure -plow unattended-upgrades
• 加固 SSH（可选但强烈建议）
  修改 /etc/ssh/sshd_config：设置 Port（非22）、PermitRootLogin no、AllowUsers hadoop、PasswordAuthentication no，重启 ssh：sudo systemctl restart ssh

二 身份与访问控制

• 启用 Kerberos 强认证（生产环境推荐）
  安装客户端：sudo apt-get install -y krb5-user
  配置 /etc/krb5.conf（示例）：
  [libdefaults]
    default_realm = EXAMPLE.COM
    dns_lookup_realm = false
    dns_lookup_kdc = true
  在 Hadoop 配置中启用：
  core-site.xml：
  hadoop.security.authenticationkerberos
  hdfs-site.xml（示例）：
  dfs.namenode.kerberos.principalnn/_HOST@EXAMPLE.COM
  完成后为服务与用户获取票据：kinit -k -t /etc/security/keytabs/nn.service.keytab nn/_HOST@EXAMPLE.COM
• 启用 HDFS 权限与 ACL
  在 hdfs-site.xml 启用权限检查：
  dfs.permissions.enabledtrue
  常用命令：
  hdfs dfs -chmod 700 /user/hadoopuser
  hdfs dfs -setfacl -m u:alice:rwx /data/sensitive
• 细粒度授权与审计（可选进阶）
  引入 Apache Ranger 或 Sentry 做基于角色的访问控制（RBAC）与统一审计。

三 加密与数据保护

• 传输加密
  • RPC/HTTPS：在 core-site.xml 与 hdfs-site.xml 启用 SSL/TLS（配置 hadoop.rpc.ssl.enabled、dfs.http.policy=HTTPS_ONLY 等）
  • Web UI：启用 HTTPS（如将 NameNode/ResourceManager Web 端口切换到 50470/8043 等 HTTPS 端口）
• 存储加密
  启用 HDFS 透明数据加密（TDE），对敏感目录设置加密区，密钥由 KMS 托管
• 数据与网络安全
  使用 TLS 保护客户端与服务端通信；对敏感数据做网络分段与隔离；定期校验数据完整性（如校验和）；制定并演练 备份与恢复 策略。

四 网络与节点安全

• 防火墙精细化
  仅开放必要端口（见上文 UFW 示例），对管理口与数据口按网段限制来源 IP，定期审计规则
• 强制访问控制
  Ubuntu 默认启用 AppArmor，为 Hadoop 相关进程加载或编写策略以限制文件与网络访问
• 时间同步
  安装并启用 NTP/Chrony，避免 Kerberos 票据因时间漂移失效
  Ubuntu 示例：sudo apt install -y ntp && sudo systemctl enable --now ntp
  验证：ntpq -p 或 chronyc tracking

五 审计监控与验证

• 启用与集中审计
  开启 HDFS 审计日志 与 YARN 作业日志审计；将审计日志接入集中式日志平台（如 ELK），设置告警规则
• 持续监控与加固
  部署 监控与告警（如 Prometheus/Grafana + 告警规则），对异常登录、权限变更、端口扫描等进行检测；定期漏洞扫描与基线核查；对关键操作建立 变更审批与回滚 流程