Debian下Hadoop安全设置有哪些

Debian下Hadoop安全设置清单

一 身份与访问控制

• 启用强认证：在所有节点部署Kerberos，为HDFS/YARN/MapReduce等组件创建Principal与keytab，并在客户端进行kinit获取票据；在 Hadoop 配置中开启认证（如将hadoop.security.authentication设为kerberos），确保服务间与用户访问都经过票据校验。
• 服务级授权：开启ServiceLevel Authorization（core-site.xml 的hadoop.security.authorization=true），仅允许白名单用户/组访问各服务。
• 队列与作业授权：在mapred-site.xml启用mapred.acls.enabled，对作业提交、查看、修改、kill等操作进行队列级与用户级控制。
• 文件系统权限与ACL：在hdfs-site.xml开启dfs.permissions=true，结合HDFS ACL对目录/文件设置更细粒度权限（如 setfacl/getfacl），实现用户与组的差异化访问。
• 操作系统层加固：为 Hadoop 运行账户创建专用用户/组，按最小权限分配；对配置、日志、数据目录设置严格的属主/属组与权限；必要时使用ACL补充；在 Debian 上可启用AppArmor对进程进行强制访问控制。

二 加密与网络安全

• 传输加密：为HDFS RPC、YARN、MapReduce等启用SASL/SSL/TLS；为Web UI（NameNode/ResourceManager/JobHistory）启用HTTPS，避免凭据与作业信息明文暴露。
• 网络边界防护：使用UFW仅放行必要端口与来源网段，例如8020/9000（HDFS RPC）、50070/50470（NameNode Web/HTTPS）、8088（ResourceManager）、8030-8033/8040-8042（YARN）、22（SSH）等，并定期审计规则。
• 主机加固：关闭不必要的端口与服务，禁用明文协议；对管理口与数据口进行VLAN/ACL隔离；仅允许受控跳板与堡垒机访问管理端口。

三 审计、合规与高可用

• 审计与合规：启用Hadoop 审计日志（如AccessControl审计、服务操作日志），集中到安全信息与事件管理（SIEM）平台进行分析；定期核查权限分配、密钥/票据有效期、异常作业与访问。
• 时间同步：部署NTP/Chrony保证集群时间一致性（Kerberos 等对时钟偏差敏感），并在节点上验证同步状态与时间偏差阈值。
• 高可用与容灾：为NameNode与ResourceManager配置HA（基于ZooKeeper的故障切换），减少单点风险；对关键配置与keytab进行版本化备份与异地存放。

四 运维安全与常见注意事项

• 安全模式的正确使用：安全模式（SafeMode）是 NameNode 启动时的保护状态，只读、禁止元数据变更；当“达到最小副本数的数据块比例”超过阈值（如dfs.safemode.threshold.pct）且稳定一段时间（如dfs.safemode.extension）后自动退出。常用命令：
  • 查看状态：hdfs dfsadmin -safemode get
  • 手动退出：hdfs dfsadmin -safemode leave
  • 进入维护：hdfs dfsadmin -safemode enter
    若无法自动退出，常见原因为DataNode 未全部注册、副本数不足或网络异常，应先恢复节点与副本，再视情况调整阈值或手动退出。
• 最小权限与凭据管理：遵循最小权限原则分配 HDFS 与 YARN 权限；keytab集中托管、定期轮换；避免在代码与脚本中硬编码凭据。
• 变更与回滚：对core-site.xml/hdfs-site.xml/mapred-site.xml/yarn-site.xml与安全策略的变更采用灰度与回滚预案；变更前备份并评估对作业、权限、HA的影响。