CentOS HDFS配置安全策略

在CentOS上配置HDFS（Hadoop Distributed File System）的安全策略，通常涉及以下几个步骤：

1. 安装和配置Hadoop

首先，确保你已经安装了Hadoop，并且HDFS已经正确配置。

安装Hadoop

sudo yum install hadoop

配置HDFS

编辑/etc/hadoop/hdfs-site.xml文件，配置HDFS的基本参数。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/path/to/namenode/dir</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/path/to/datanode/dir</value>
    </property>
</configuration>

2. 配置Kerberos认证

Kerberos是Hadoop常用的安全认证机制。

安装Kerberos客户端

sudo yum install krb5-workstation

配置Kerberos

编辑/etc/krb5.conf文件，配置Kerberos领域和服务器。

[libdefaults]
    default_realm = YOUR.REALM.COM

[realms]
    YOUR.REALM.COM = {
        kdc = kdc.your.realm.com
        admin_server = admin.your.realm.com
    }

[domain_realm]
    .your.realm.com = YOUR.REALM.COM
    your.realm.com = YOUR.REALM.COM

获取Kerberos票据

使用kinit命令获取Kerberos票据。

kinit your_principal@YOUR.REALM.COM

3. 配置Hadoop安全设置

编辑/etc/hadoop/core-site.xml文件，启用Kerberos认证。

<configuration>
    <property>
        <name>hadoop.security.authentication</name>
        <value>kerberos</value>
    </property>
    <property>
        <name>hadoop.security.authorization</name>
        <value>true</value>
    </property>
</configuration>

编辑/etc/hadoop/hdfs-site.xml文件，配置HDFS的安全设置。

<configuration>
    <property>
        <name>dfs.namenode.kerberos.principal</name>
        <value>nn/_HOST@YOUR.REALM.COM</value>
    </property>
    <property>
        <name>dfs.namenode.keytab.file</name>
        <value>/path/to/nn.keytab</value>
    </property>
    <property>
        <name>dfs.datanode.kerberos.principal</name>
        <value>dn/_HOST@YOUR.REALM.COM</value>
    </property>
    <property>
        <name>dfs.datanode.keytab.file</name>
        <value>/path/to/dn.keytab</value>
    </property>
</configuration>

4. 启动Hadoop集群

启动HDFS和YARN服务。

start-dfs.sh
start-yarn.sh

5. 验证配置

使用klist命令验证Kerberos票据是否有效。

klist

使用Hadoop命令行工具验证安全配置是否生效。

hdfs dfs -ls /

如果一切配置正确，你应该能够看到HDFS的根目录列表。

6. 配置防火墙

确保防火墙允许Hadoop集群所需的端口通信。

sudo firewall-cmd --permanent --zone=public --add-port=8020/tcp
sudo firewall-cmd --permanent --zone=public --add-port=50070/tcp
sudo firewall-cmd --permanent --zone=public --add-port=50010/tcp
sudo firewall-cmd --reload

通过以上步骤，你应该能够在CentOS上成功配置HDFS的安全策略。