HDFS在Ubuntu上如何部署

在Ubuntu上部署Hadoop分布式文件系统（HDFS）涉及多个步骤，包括环境准备、安装Java、下载和配置Hadoop、设置SSH无密码登录、格式化NameNode、启动HDFS服务以及验证安装。以下是一个详细的步骤指南：

环境准备

1. 更新系统：

   sudo apt update && sudo apt upgrade -y
   

2. 安装基础工具：

   sudo apt install -y build-essential openssh-server
   

3. 安装Java环境：

   wget https://download.java.net/java/GA/jdk8/9/GPL/openjdk-8u221-b11-linux-x64.tar.gztar -zxvf openjdk-8u221-b11-linux-x64.tar.gz -C /usr/lib/jvm
   

   验证安装：

   java -version
   

下载并解压Hadoop

从Apache Hadoop官网下载所需的Hadoop版本（例如Hadoop 3.3.4），然后解压到指定目录（例如/usr/local/hadoop）：

sudo tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/hadoop

配置Hadoop与HDFS

1. 设置环境变量： 编辑~/.bashrc文件，添加以下内容：

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

   执行source ~/.bashrc使配置生效。

2. 修改Hadoop配置文件：

   • hadoop-env.sh（位于$HADOOP_HOME/etc/hadoop/）：

     export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
     

   • core-site.xml（配置HDFS地址）：

     <configuration>
       <property>
         <name>fs.defaultFS</name>
         <value>hdfs://localhost:9000</value>
       </property>
     </configuration>
     

   • hdfs-site.xml（配置副本数，单机模式设为1）：

     <configuration>
       <property>
         <name>dfs.replication</name>
         <value>1</value>
       </property>
       <property>
         <name>dfs.namenode.name.dir</name>
         <value>/usr/local/hadoop/hdfs/namenode</value>
       </property>
       <property>
         <name>dfs.datanode.data.dir</name>
         <value>/usr/local/hadoop/hdfs/datanode</value>
       </property>
     </configuration>
     

创建HDFS目录

sudo mkdir -p /usr/local/hadoop/hdfs/namenode
sudo mkdir -p /usr/local/hadoop/hdfs/datanode
sudo chown -R hdfs:hdfs /usr/local/hadoop/hdfs

格式化NameNode

hdfs namenode -format

启动HDFS服务

start-dfs.sh

验证HDFS服务

在终端运行以下命令，查看HDFS的Web界面：

hdfs dfsadmin -report

浏览器打开 http://localhost:50070，可查看HDFS的管理界面，表明HDFS已成功安装。

通过以上步骤，你已经在Ubuntu系统上成功安装和配置了Hadoop HDFS。你可以使用HDFS存储和访问大量数据，为你的大数据应用提供支持。