Linux Hadoop 数据加密实现指南
一 加密层次与适用场景
- 静态数据加密（TDE，HDFS 透明加密）：在目录级创建加密区（Encryption Zone, EZ），写入时自动加密、读取时自动解密，密钥由Hadoop KMS集中管理，适合对敏感目录进行透明保护。
- 传输层加密（SSL/TLS）：加密客户端与 NameNode/DataNode 之间以及节点间的数据通道，防止链路窃听与篡改，通常与 TDE 配合使用。
- 应用层加密：在业务应用侧先加密再写入 HDFS，密钥与应用强绑定，适合合规要求严格或跨系统共享数据的场景。
- 操作系统层加密：对承载 HDFS 数据的磁盘或目录使用 LUKS 等全盘/目录加密，保护数据在磁盘层面的安全，属于基础设施层加固。
二 快速落地步骤（HDFS 透明加密 + KMS）
- 前提准备
- 集群启用 Kerberos，确保 NameNode/DataNode/KMS 时间同步（NTP），并规划好用于 KMS 的密钥库与访问策略。
- 配置 Hadoop KMS
- 在 KMS 节点准备 Java Keystore（示例）：keytool -genkey -alias key1；将生成的 kms.jks 放置在安全路径（如 /etc/hadoop/kms/conf/kms.jks）。
- 配置 kms-site.xml（示例要点）：
- hadoop.kms.key.provider.uri：jceks://file@/etc/hadoop/kms/conf/kms.jks
- hadoop.security.keystore.java-keystore-provider.password-file：kms.keystore.password（将密码写入 KMS webapp 的 classes 目录同名文件）
- 启动 KMS 服务，并开放访问端口（如 16000），确保 NameNode/DataNode 可访问。
- 配置 HDFS 使用 KMS
- 在 core-site.xml 或 hdfs-site.xml 设置：dfs.encryption.key.provider.uri 为 kms://http@:16000/kms（与 KMS 配置保持一致）。
- 创建加密区并验证
- 创建密钥：hdfs crypto -createKey myEZKey
- 创建加密区：hdfs crypto -createZone -keyName myEZKey -path /user/hdfs/encrypted
- 验证：hdfs crypto -listZones 应能看到 /user/hdfs/encrypted 与 myEZKey 的映射关系。
三 传输层加密与访问控制
- 启用传输加密
- 在 hdfs-site.xml 开启：dfs.encrypt.data.transfer 为 true；可按需设置传输加密算法与相关参数（如 AES/CTR 等），确保客户端与集群间通信加密。
- 认证与授权加固
- 启用 Kerberos 完成强认证；结合 ACLs/RBAC 控制目录与文件访问；开启 审计日志 记录关键操作，便于合规与追溯。
四 其他可选方案与注意事项
- 应用层加密
- 在写入 HDFS 前由业务代码/SDK 完成加密，读取时解密；优点是密钥与应用紧耦合、便于分权分域，缺点是开发改造与性能开销需评估。
- 操作系统层加密
- 对 DataNode 数据盘使用 LUKS 全盘加密，或加密宿主机上存放 HDFS 数据的目录；属于“落地即加密”，对上层透明，可与 HDFS TDE 叠加使用。
- 管理与性能提示
- 密钥全生命周期管理（生成、轮换、撤销、备份）要纳入流程与审计；加密/解密会带来 CPU 与 IO 开销，建议在测试环境评估后再上线生产。