Ubuntu HDFS配置步骤有哪些 - 问答

Ubuntu环境下HDFS配置步骤（单机/伪分布式模式）

1. 环境准备

更新系统：运行sudo apt update && sudo apt upgrade -y，确保系统软件包为最新版本。
安装基础工具：执行sudo apt install -y build-essential openssh-server，安装编译工具和SSH服务（后续配置免密登录需要）。

安装Java环境：Hadoop依赖Java，推荐使用OpenJDK 8。运行以下命令安装并配置：

sudo apt install -y openjdk-8-jdk
sudo update-java-alternatives --set java-1.8.0-openjdk
java -version  # 验证安装（需显示Java 1.8版本信息）

2. 下载并解压Hadoop

从Apache Hadoop官网下载稳定版本（如3.3.4），使用wget命令获取安装包：
```
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
```

解压到指定目录（如/usr/local），并重命名文件夹：

sudo tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/
sudo mv /usr/local/hadoop-3.3.4 /usr/local/hadoop

3. 配置Hadoop环境变量

编辑~/.bashrc文件（用户级环境变量），添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效：
```
source ~/.bashrc
```

4. 配置HDFS核心文件

进入Hadoop配置目录（$HADOOP_HOME/etc/hadoop），修改以下文件：

core-site.xml：定义HDFS的默认文件系统地址。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml：配置HDFS副本数、NameNode和DataNode数据目录。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>  <!-- 单机模式下副本数为1 -->
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/data/datanode</value>
    </property>
</configuration>

5. 创建HDFS数据目录

手动创建NameNode和DataNode的数据存储目录：

sudo mkdir -p /usr/local/hadoop/data/namenode
sudo mkdir -p /usr/local/hadoop/data/datanode
sudo chown -R $USER:$USER /usr/local/hadoop/data  # 修改目录所有者为当前用户

6. 格式化NameNode

首次启动HDFS前，必须格式化NameNode以初始化文件系统元数据：
```
hdfs namenode -format
```

7. 启动HDFS服务

使用start-dfs.sh脚本启动HDFS服务（包含NameNode和DataNode）：
```
start-dfs.sh
```
验证服务进程：运行jps命令，应看到NameNode、DataNode进程。

8. 验证HDFS功能

访问HDFS Web界面：在浏览器中输入http://localhost:9870（Hadoop 3.x版本），查看文件系统状态。

执行常用HDFS命令：

hdfs dfs -mkdir /user/$USER  # 创建用户目录
hdfs dfs -put ~/test.txt /user/$USER/  # 上传本地文件到HDFS
hdfs dfs -ls /user/$USER  # 列出目录内容

9. 可选：配置防火墙

若系统启用了防火墙，需开放HDFS相关端口：

sudo ufw allow 9000  # NameNode RPC端口
sudo ufw allow 50070 # NameNode Web UI端口（Hadoop 2.x）
sudo ufw allow 9870  # NameNode Web UI端口（Hadoop 3.x）

注意事项

单机模式仅用于测试，生产环境需配置分布式集群（多台机器）。
若启动失败，检查logs目录下的日志文件（如NameNode.log），排查具体错误。
配置文件修改后，需重新启动HDFS服务使变更生效。

0 赞

0 踩