Ubuntu HDFS数据如何加密

Ubuntu上HDFS数据加密实践指南

一、加密方案总览

• 传输加密：加密客户端与集群、以及DataNode之间的通信通道，防止链路窃听与篡改。
• 静态加密（TDE）：对写入HDFS指定目录的数据在落盘时自动加密，读取时透明解密，对业务透明。
• OS层/应用层加密：在节点本地磁盘或应用侧对数据再加密，作为补充手段（如磁盘加密、文件级加密）。

二、传输加密配置

• 核心参数（在core-site.xml/hdfs-site.xml中设置）：
  • 将RPC通道安全级别设为privacy（认证+完整性+加密）：
    • 配置项：hadoop.rpc.protection = privacy
    • 影响范围：客户端访问HDFS、DataNode↔NameNode、YARN/MapReduce/Spark等与HDFS交互的RPC通道。
    • 注意：修改后通常需要重启相关服务，且客户端需重新下载配置。
  • 启用数据传输加密（DataTransferProtocol）：
    • 配置项：dfs.encrypt.data.transfer = true
    • 依赖：仅当hadoop.rpc.protection=privacy时生效。
    • 算法建议：优先使用AES/CTR/NoPadding；避免使用rc4；默认算法可能为3des（安全性较低）。
• Ubuntu网络与合规建议：
  • 使用ufw仅开放必要端口（如HDFS RPC/DataTransfer、KMS等），并限制来源网段。
  • 启用Kerberos强认证，配合传输加密实现端到端安全。

三、静态加密 TDE 配置步骤

• 前置条件
  • 启用Kerberos并完成集群互信配置（HDFS透明加密依赖安全的身份体系）。
  • 部署并运行Hadoop KMS（Key Management Server），用于生成与分发加密密钥。
• 配置KMS地址
  • 在core-site.xml中设置密钥提供者URI（示例）：
    • 配置项：hadoop.security.crypto.key.provider.path = kms://http@:9600/kms
• 创建密钥
  • 使用Hadoop KMS创建密钥（示例）：
    • 命令：hadoop key create
• 创建加密区（Encryption Zone）
  • 在HDFS上指定目录为加密区并绑定密钥（示例）：
    • 命令：hdfs crypto -createZone -keyName -path /secure/data
• 验证与使用
  • 将文件写入加密区，HDFS会在写入时自动加密，读取时自动解密：
    • 命令：hdfs dfs -put local.txt /secure/data/
  • 通过hdfs crypto -listZones查看加密区；未授权用户即使有读权限也无法解密内容。

四、补充与注意事项

• 性能影响

  • 启用dfs.encrypt.data.transfer会对大数据量传输带来明显开销；在带宽或时延敏感场景需充分压测并选择合适的加密套件（如AES/CTR/NoPadding）。

• 日志与密钥安全

  • 对NameNode/ResourceManager/HiveServer2等日志中可能泄露的敏感信息（如用户ID、操作细节）进行脱敏；日志目录建议纳入HDFS TDE并使用ACL/RBAC限制访问，必要时结合Ranger/Sentry做细粒度授权与审计。
  • 密钥由KMS集中管理，需严格管控KMS的访问权限、网络暴露面与审计；定期备份密钥并制定轮换与应急恢复流程。

五、快速验证清单

• 传输加密
  • 核查配置：hadoop.rpc.protection=privacy、dfs.encrypt.data.transfer=true、dfs.encrypt.data.transfer.cipher.suites=AES/CTR/NoPadding。
  • 使用抓包工具（如tcpdump/wireshark）确认RPC与DataTransfer流量已加密。
• 静态加密
  • 执行：hdfs crypto -listZones能看到已创建的加密区。
  • 向加密区写入文件后，使用未授权用户尝试读取应失败；授权用户可正常读取。