Ubuntu上保障Hadoop数据安全的可落地方案
一 身份与访问控制
- 启用强认证：在所有节点安装并配置 Kerberos，将 Hadoop 切换为强认证模式。核心配置示例：在 core-site.xml 设置 hadoop.security.authentication=kerberos；在 hdfs-site.xml 配置 dfs.namenode.kerberos.principal=nn/_HOST@EXAMPLE.COM 等主体；安装工具可通过 sudo apt-get install krb5-user。完成后使用 kinit 获取票据验证登录流程。
- 启用细粒度授权：打开 HDFS 权限与 ACL，在 hdfs-site.xml 启用 dfs.permissions.enabled、dfs.namenode.acls.enabled，通过命令行对用户/组设置目录与文件的访问控制，例如：
- hdfs dfs -chmod 700 /user/hadoopuser
- hdfs dfs -setfacl -m user:alice:rwx /data/sensitive
- 统一策略与审计：引入 Apache Ranger（或 Sentry）实现 RBAC/ABAC 与集中审计，覆盖 HDFS/Hive 等组件，策略变更可审计追溯。
二 加密与密钥管理
- 传输加密：为客户端与服务端通道启用 SSL/TLS，对 RPC、HTTP/HTTPS（如 NameNode/ResourceManager Web UI） 等通信进行加密，防止窃听与篡改。
- 存储加密：在 HDFS 启用 透明数据加密（TDE），对敏感目录创建加密区域并管理密钥，命令示例：
- hdfs crypto -createZone -keyName myEncryptionKey -path /user/hdfs/encryptedDir
- hdfs crypto -encrypt -path /user/hdfs/encryptedDir -keyName myEncryptionKey
注意密钥的安全存储、轮换与访问控制，避免单点泄露风险。
- 主机与介质层加固：对承载 HDFS 数据的磁盘使用 LUKS 等文件系统级加密，作为纵深防御；同时关注加密对性能的影响并充分测试。
三 网络安全与主机加固
- 边界与端口控制：使用 ufw 仅放行必要端口（如 9000、50010、50020、50070 等），对管理口与敏感网段实施白名单，默认拒绝入站；可按需限制来源网段访问。
- SSH 安全：禁用 root 登录、更改默认端口、仅允许 SSH 密钥 登录，减少暴力破解面。
- 进程最小权限：为 Hadoop 相关进程配置最小权限运行账户与目录权限；启用 AppArmor（Ubuntu 默认）进行强制访问控制，限制异常行为。
四 审计、完整性、备份与持续运营
- 审计与监控：开启并集中 HDFS 访问与操作审计日志，对关键目录与敏感操作设置告警；结合 实时监控/告警系统 与 Fail2Ban 等工具，及时发现异常登录与暴力尝试。
- 数据完整性与可用性：启用 校验和（如 MD5/SHA-1） 校验机制，配合 定期备份与异地容灾 策略，确保数据在传输/存储过程中的完整性与可恢复性。
- 补丁与合规：通过 unattended-upgrades 实现 Ubuntu 安全补丁自动更新；定期核查 Hadoop 版本与安全公告，执行最小化权限、密钥轮换与访问评审等合规动作。