HDFS在Ubuntu上如何安装

在Ubuntu上安装Hadoop分布式文件系统（HDFS）涉及多个步骤，包括环境准备、安装Java、下载和配置Hadoop、设置环境变量、格式化NameNode以及启动和验证HDFS服务。以下是详细的安装步骤：

环境准备

1. 更新系统：

sudo apt update && sudo apt upgrade -y

2. 安装基础工具：

sudo apt install -y build-essential openssh-server

3. 安装Java环境：

wget https://download.java.net/java/GA/jdk8/9/GPL/openjdk-8u221-b11-linux-x64.tar.gztar -zxvf openjdk-8u221-b11-linux-x64.tar.gz -C /usr/lib/jvm

配置环境变量：

sudo nano /etc/profile

在文件中添加以下内容：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_221
export PATH=$JAVA_HOME/bin:$PATH

保存并退出编辑器，然后应用配置：

source /etc/profile

验证Java安装：

java -version

下载和配置Hadoop

1. 下载Hadoop： 从Apache Hadoop官网下载所需版本的Hadoop安装包，例如Hadoop 3.3.4。

wget http://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

2. 解压Hadoop：

tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/hadoop

3. 配置Hadoop环境变量： 编辑~/.bashrc文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

应用配置：

source ~/.bashrc

4. 配置Hadoop的配置文件：

• core-site.xml：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

• hdfs-site.xml：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/data/datanode</value>
  </property>
</configuration>

格式化NameNode

在启动HDFS之前，需要格式化NameNode：

hdfs namenode -format

启动HDFS服务

启动HDFS服务：

start-dfs.sh

验证HDFS服务

检查HDFS状态：

hdfs dfsadmin -report

访问HDFS Web界面： 在浏览器中输入 http://localhost:50070，查看HDFS的管理界面，表明HDFS已成功安装。

通过以上步骤，您已经成功地在Ubuntu系统上安装了Apache HDFS。接下来，您可以开始使用HDFS存储和管理大数据了。