CentOS HDFS如何配置与管理

在CentOS上配置和管理Hadoop分布式文件系统（HDFS）涉及多个步骤，包括安装Hadoop、配置环境变量、修改配置文件、启动和停止服务等。以下是一个详细的指南：

1. 安装Hadoop

首先，你需要在CentOS系统上安装Hadoop。可以从Apache Hadoop官方网站下载适合的版本并解压到指定目录，例如 /usr/local/hadoop。

2. 配置环境变量

编辑 /etc/profile 文件，添加Hadoop相关的环境变量，如 HADOOP_HOME 和 PATH：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存文件后，运行以下命令使配置生效：

source /etc/profile

3. 配置HDFS

3.1 配置核心文件目录

进入Hadoop的配置文件目录，通常位于 HADOOP_HOME/etc/hadoop 中。关键的配置文件如下：

• core-site.xml：设置HDFS的默认文件系统地址。
• hdfs-site.xml：配置HDFS的数据存储路径和副本数等。
• yarn-site.xml 和 mapred-site.xml：主要用于YARN和MapReduce配置，不涉及HDFS。

3.2 修改 core-site.xml

编辑 core-site.xml 文件，添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode_hostname:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop/tmp</value>
    </property>
</configuration>

将 namenode_hostname 替换为NameNode节点的主机名或IP地址。

3.3 修改 hdfs-site.xml

编辑 hdfs-site.xml 文件，添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/path/to/namenode/data</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/path/to/datanode/data</value>
    </property>
</configuration>

确保 /path/to/namenode/data 和 /path/to/datanode/data 目录存在，如果不存在，可以手动创建。

4. 配置SSH免密登录

为所有Hadoop节点配置SSH免密登录，以便节点间可以无密码通信。

1. 生成SSH密钥对：

ssh-keygen -t rsa

2. 将公钥复制到其他节点：

ssh-copy-id user@nodeX

将 user 替换为用户名，nodeX 替换为节点名称。

5. 格式化NameNode

在首次启动HDFS之前，需要格式化NameNode：

hdfs namenode -format

6. 启动HDFS

在NameNode节点上执行以下命令启动HDFS集群：

start-dfs.sh

7. 验证HDFS

使用以下命令检查HDFS是否正常运行：

hdfs dfsadmin -report

访问 http://namenode_hostname:50070 查看HDFS Web UI。

8. 停止HDFS

在NameNode节点上执行以下命令停止HDFS集群：

stop-dfs.sh

9. 监控和日志

配置日志目录和监控工具，以便及时发现和解决问题。可以使用Hadoop提供的Web界面查看集群状态和日志。

10. 权限管理

HDFS使用类似于Linux的权限模型，可以通过 hdfs dfs -chmod 和 hdfs dfs -chown 命令来设置文件和目录的权限。HDFS还支持更精细的权限控制，可以通过 hdfs dfs -setfacl 和 hdfs dfs -getfacl 命令来设置和查看ACL。

11. 扩展和管理

• 扩容：当集群存储不足时，可以增加新的DataNode节点，并重新配置HDFS以包含新的节点。
• 缩容：在集群需求减少时，可以移除DataNode节点，并相应地调整HDFS的配置。

通过以上步骤，你可以在CentOS上成功配置和管理HDFS集群。确保所有配置正确无误后，你可以开始使用HDFS进行大数据存储和处理。