CentOS HDFS如何添加节点

在CentOS上添加HDFS节点（即DataNode）通常涉及以下几个步骤：

1. 准备工作

• 确保所有节点的时间同步：使用NTP服务同步所有节点的时间。
• 配置SSH无密码登录：在NameNode和所有DataNode之间配置SSH无密码登录。
• 关闭防火墙：在所有节点上临时关闭防火墙，以便进行配置更改。

2. 配置Hadoop环境

2.1 在NameNode上配置

编辑/etc/hadoop/conf/core-site.xml文件，确保以下配置项正确：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:8020</value>
    </property>
</configuration>

编辑/etc/hadoop/conf/hdfs-site.xml文件，添加或修改以下配置项：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value> <!-- 根据需要设置副本数 -->
    </property>
    <property>
        <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
        <value>false</value>
    </property>
</configuration>

2.2 在DataNode上配置

将NameNode上的Hadoop配置文件复制到DataNode上：

scp -r /etc/hadoop/conf/* datanode:/etc/hadoop/conf/

3. 启动HDFS服务

在NameNode上启动HDFS服务：

start-dfs.sh

在DataNode上启动HDFS服务：

start-dfs.sh

4. 验证节点添加

在NameNode上运行以下命令，检查DataNode是否已成功添加：

hdfs dfsadmin -report

你应该能看到新添加的DataNode在列表中。

5. 配置自动故障转移（可选）

如果你希望启用自动故障转移（HA），需要额外配置JournalNode和ZooKeeper。

5.1 配置JournalNode

在所有JournalNode节点上编辑/etc/hadoop/conf/hdfs-site.xml文件，添加以下配置项：

<configuration>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/path/to/journalnode/data</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://journalnode1:8485;journalnode2:8485;journalnode3:8485/mycluster</value>
    </property>
</configuration>

5.2 配置ZooKeeper

在所有ZooKeeper节点上启动ZooKeeper服务，并配置Hadoop使用ZooKeeper进行HA管理。

6. 启动HA服务

在NameNode上启动HA服务：

start-dfs.sh

7. 验证HA配置

在浏览器中访问NameNode的Web界面（通常是http://namenode:50070），检查HA状态是否正常。

通过以上步骤，你应该能够在CentOS上成功添加HDFS节点。如果有任何问题，请检查日志文件以获取更多信息。