Ubuntu如何安装HDFS

在Ubuntu上安装HDFS（Hadoop分布式文件系统）通常涉及以下几个步骤。以下是一个基本的指南，帮助你在Ubuntu系统上安装和配置HDFS。

前提条件

1. Java JDK：Hadoop需要Java环境，确保你已经安装了Java JDK。

   sudo apt update
   sudo apt install openjdk-11-jdk
   

2. SSH无密码登录：为了在集群节点之间进行通信，你需要设置SSH无密码登录。

   ssh-keygen -t rsa
   ssh-copy-id <username>@<node_ip>
   

安装Hadoop

1. 下载Hadoop： 你可以从Apache Hadoop官方网站下载最新版本的Hadoop，或者使用以下命令安装：

   wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
   tar -xzvf hadoop-3.3.4.tar.gz
   sudo mv hadoop-3.3.4 /usr/local/hadoop
   

2. 配置环境变量： 编辑~/.bashrc文件，添加以下内容：

   export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

   然后使配置生效：

   source ~/.bashrc
   

3. 配置Hadoop： 编辑Hadoop配置文件，主要涉及core-site.xml、hdfs-site.xml和yarn-site.xml。

   • core-site.xml：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
         </property>
     </configuration>
     

   • hdfs-site.xml：

     <configuration>
         <property>
             <name>dfs.replication</name>
             <value>1</value>
         </property>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/usr/local/hadoop/data/namenode</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/usr/local/hadoop/data/datanode</value>
         </property>
     </configuration>
     

   • yarn-site.xml：

     <configuration>
         <property>
             <name>yarn.resourcemanager.hostname</name>
             <value>localhost</value>
         </property>
         <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
         </property>
     </configuration>
     

4. 格式化NameNode： 在第一次启动HDFS之前，需要对NameNode进行格式化：

   hdfs namenode -format
   

5. 启动HDFS： 启动HDFS集群：

   start-dfs.sh
   

6. 验证HDFS： 打开浏览器，访问http://localhost:50070，你应该能看到HDFS的Web界面。

配置YARN（可选）

如果你还需要运行YARN，可以按照以下步骤进行配置：

1. 编辑mapred-site.xml：

   <configuration>
       <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>
   </configuration>
   

2. 启动YARN： 启动YARN集群：

   start-yarn.sh
   

3. 验证YARN： 打开浏览器，访问http://localhost:8088，你应该能看到YARN的Web界面。

停止HDFS和YARN

如果你需要停止HDFS和YARN集群，可以使用以下命令：

stop-dfs.sh
stop-yarn.sh

以上步骤应该可以帮助你在Ubuntu上安装和配置HDFS。根据你的具体需求，可能还需要进行更多的配置和调整。