HDFS在CentOS上如何配置 - 问答

在CentOS上配置Hadoop分布式文件系统（HDFS）是一个相对复杂的过程，涉及多个步骤。以下是一个基本的配置指南，假设你要配置一个简单的HDFS集群。

1. 环境准备

1.1 安装Java环境

首先，确保你的系统上安装了Java。你可以使用以下命令安装OpenJDK 8：

sudo yum install java-1.8.0-openjdk-devel -y

验证Java安装：

java -version

1.2 安装Hadoop

下载Hadoop安装包并解压到指定目录，例如/opt/hadoop。

wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -zxvf hadoop-3.3.1.tar.gz -C /opt/hadoop/

2. 配置环境变量

编辑/etc/profile文件，添加以下内容：

export JAVA_HOME=/usr/lib/java-1.8.0-openjdk
export HADOOP_HOME=/opt/hadoop/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效：

source /etc/profile

3. 配置SSH无密码登录

3.1 生成SSH密钥

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

3.2 将公钥复制到其他节点

将生成的公钥（~/.ssh/id_rsa.pub）复制到所有节点的~/.ssh/authorized_keys文件中。

ssh-copy-id root@node2
ssh-copy-id root@node3

4. 配置Hadoop

4.1 修改Hadoop配置文件

core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
</configuration>

hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop/data/datanode</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>namenode:50070</value>
    </property>
</configuration>

4.2 修改hosts文件

在所有节点上编辑/etc/hosts文件，添加节点IP和主机名映射：

192.168.1.1 namenode
192.168.1.2 datanode1
192.168.1.3 datanode2

5. 格式化NameNode

在NameNode节点上执行以下命令格式化文件系统：

hdfs namenode -format

6. 启动HDFS

启动HDFS集群：

/opt/hadoop/sbin/start-dfs.sh

7. 验证配置

打开浏览器，访问http://namenode:50070，查看HDFS管理界面，确认NameNode和DataNode是否正常运行。

注意事项

确保所有节点的时间同步，可以使用NTP服务。
在生产环境中，建议配置HDFS的高可用性（HA）。

以上步骤是一个基本的HDFS配置指南，具体配置可能会因环境和需求有所不同。建议参考Hadoop官方文档进行详细配置。

0 赞

0 踩