Ubuntu HDFS配置步骤全解析 - 问答

在Ubuntu上配置Hadoop分布式文件系统（HDFS）涉及多个步骤，以下是详细的步骤指南：

1. 环境准备

安装Java环境： Hadoop依赖于Java环境，因此首先需要安装Java。
```
sudo apt update
sudo apt install openjdk-8-jdk
```
验证Java版本：
```
java -version
```
安装SSH服务：安装OpenSSH服务器并配置免密登录，以便节点间可以互相通信。
```
sudo apt install openssh-server
sudo ssh-keygen -t rsa
ssh-copy-id user@slave_node_ip
```
测试SSH连接：
```
ssh localhost
```

2. 下载并解压Hadoop

从Apache Hadoop官网下载最新版本的Hadoop安装包，然后解压到你想要的目录。

wget http://archive.apache.org/dist/hadoop/core/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/

3. 配置Hadoop环境变量

编辑~/.bashrc文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使环境变量生效：

source ~/.bashrc

4. 配置Hadoop核心文件

core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/path/to/hadoop/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/path/to/hadoop/hdfs/datanode</value>
    </property>
</configuration>

mapred-site.xml和yarn-site.xml：这些文件在单机模式下通常不需要特别配置。

5. 格式化NameNode

首次启动HDFS之前，需要对其进行格式化：

hdfs namenode -format

6. 启动HDFS服务

使用以下命令启动HDFS服务：

start-dfs.sh

7. 验证HDFS是否正常运行

打开浏览器，访问http://localhost:9000，如果看到HDFS的文件系统状态页面，说明HDFS已经成功启动。

8. 常用HDFS命令

创建目录：
```
hdfs dfs -mkdir /user/test
```

上传本地文件到HDFS：

hdfs dfs -put /path/to/localfile /user/remotefile.txt

列出HDFS目录下的文件：
```
hdfs dfs -ls /user
```

从HDFS下载文件到本地：

hdfs dfs -get /user/remotefile.txt localfile.txt

删除HDFS文件：
```
hdfs dfs -rm /user/remotefile.txt
```

以上步骤涵盖了在Ubuntu上配置HDFS的主要步骤，确保每个环节正确配置是成功运行HDFS的基础。

0 赞

0 踩