HDFS安全设置如何配置

HDFS安全设置主要包括身份认证、权限管理、加密及审计等方面，以下是基于CentOS的配置步骤及关键参数：

一、Kerberos认证配置

1. 安装Kerberos

   sudo yum install krb5-server krb5-workstation krb5-libs  
   

2. 配置Kerberos
   编辑/etc/krb5.conf，指定领域和KDC信息：

   [realms]  
   YOUR.REALM.COM = {  
       kdc = kdc.your.realm.com:88  
       admin_server = kdc.your.realm.com:749  
   }  
   

3. 生成Kerberos主体和密钥表

   sudo kadmin.local -q "addprinc -randkey hdfs/_HOST@YOUR.REALM.COM"  
   sudo kadmin.local -q "ktadd -k /etc/krb5kdc/hdfs.keytab hdfs/_HOST@YOUR.REALM.COM"  
   

4. 启用Kerberos认证
   在core-site.xml中添加：

   <property>  
       <name>hadoop.security.authentication</name>  
       <value>kerberos</value>  
   </property>  
   

   在hdfs-site.xml中配置NameNode和DataNode的Kerberos主体及密钥表路径。

二、权限管理配置

1. 基础权限控制
   • 使用chmod、chown命令设置文件/目录权限：

     hdfs dfs -chmod 755 /path/to/dir  # 所有者可读写执行，组和其他用户可读执行  
     hdfs dfs -chown user:group /path/to/file  # 修改所有者和组  
     

2. ACL权限控制
   • 启用ACL：在hdfs-site.xml中设置dfs.namenode.acls.enabled=true。
   • 为特定用户/组添加权限：

     hdfs dfs -setfacl -m user:user1:rwx /path/to/dir  # 赋予用户user1读写执行权限  
     

3. 特殊权限位
   • 粘滞位：防止非所有者删除共享目录文件（类似Linux的+t）。

     hdfs dfs -chmod +t /shared_dir  
     

   • SetGID：新创建文件继承目录所属组。

     hdfs dfs -chmod g+s /group_dir  
     

三、安全模式与加密

1. 安全模式
   • 启动安全模式（仅允许读操作，用于维护）：

     hdfs dfsadmin -safemode enter  
     

   • 退出安全模式：

     hdfs dfsadmin -safemode leave  
     

2. 透明数据加密（TDE）
   • 创建加密区域并加密数据：

     hdfs crypto -createZone -keyName myKey -path /encrypted_path  
     hdfs crypto -encrypt -path /data_path -keyName myKey  
     

四、审计与监控

1. 启用审计日志
   在hdfs-site.xml中配置：

   <property>  
       <name>hadoop.security.audit.log.path</name>  
       <value>/var/log/hadoop-hdfs/audit.log</value>  
   </property>  
   

2. 防火墙配置
   限制HDFS服务端口（如NameNode的8020、DataNode的50010）：

   sudo firewall-cmd --add-port=8020/tcp --permanent  
   sudo firewall-cmd --reload  
   

五、验证配置

1. 使用klist验证Kerberos票据：

   klist  
   

2. 通过HDFS命令测试访问：

   hdfs dfs -ls /  
   

说明：以上配置需根据实际环境调整，如Kerberos领域、密钥表路径等参数需与集群部署一致。生产环境中建议结合Kerberos、ACL及加密实现多层安全防护。