Ubuntu中HDFS集群如何搭建

在Ubuntu中搭建HDFS集群是一个相对复杂的过程，涉及多个步骤。以下是一个基本的指南，帮助你在Ubuntu系统上搭建HDFS集群。

环境准备

1. 选择操作系统：推荐使用Ubuntu 18.04或更高版本。
2. 配置网络：确保所有节点在同一个网络中，并且可以互相通信。
3. 安装Java环境：因为Hadoop依赖于Java。

安装Hadoop

1. 下载并解压Hadoop：

wget https://downloads.apache.org/hadoop/core/hadoop-3.3.12/hadoop-3.3.12.tar.gz
tar -xzvf hadoop-3.3.12.tar.gz -C /opt/hadoop

2. 配置环境变量：

编辑 /etc/profile 文件，添加以下内容：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置文件生效：

source /etc/profile

配置Hadoop

1. 编辑Hadoop配置文件：

• core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/tmp/hadoop</value>
    </property>
</configuration>

• hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/datanode</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

• mapred-site.xml 和 yarn-site.xml：可以参考Hadoop官方文档进行配置。

2. 设置SSH免密码登录：

在所有节点上生成SSH密钥对：

ssh-keygen -t rsa

将公钥复制到其他节点：

ssh-copy-id namenode
ssh-copy-id datanode1
ssh-copy-id datanode2
ssh-copy-id datanode3

3. 格式化NameNode：

在NameNode节点上执行以下命令初始化HDFS文件系统：

hdfs namenode -format

4. 启动HDFS集群：

在NameNode节点上启动HDFS：

start-dfs.sh

在DataNode节点上启动DataNode：

start-dfs.sh datanode

5. 验证集群状态：

在NameNode节点上查看HDFS状态：

hdfs dfsadmin -report

访问NameNode的Web界面：http://namenode:50070