HDFS在Ubuntu上的集群搭建

在Ubuntu上搭建HDFS（Hadoop分布式文件系统）集群需要遵循一系列步骤。以下是一个基本的指南，帮助你在Ubuntu上设置一个简单的HDFS集群。

前提条件

1. Java安装：Hadoop需要Java环境，确保你的系统上已经安装了Java。可以使用以下命令检查：

   java -version
   

   如果没有安装，可以通过以下命令安装OpenJDK：

   sudo apt update
   sudo apt install openjdk-11-jdk
   

2. SSH无密码登录：为了方便集群管理，你需要配置SSH无密码登录。在主节点（NameNode）上生成SSH密钥，并将公钥复制到所有其他节点（DataNode）。

   在主节点上执行：

   ssh-keygen -t rsa
   

   然后按提示操作，直到生成密钥对。接下来，将公钥复制到其他节点：

   ssh-copy-id <username>@<datanode_ip>
   

安装Hadoop

1. 下载Hadoop：从Hadoop官网下载适合你系统的Hadoop版本，并解压到一个目录，例如/usr/local/hadoop。

2. 配置环境变量：编辑~/.bashrc文件，添加以下行：

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

   然后运行：

   source ~/.bashrc
   

3. 配置Hadoop：编辑Hadoop的配置文件，主要涉及core-site.xml、hdfs-site.xml和yarn-site.xml。

   • core-site.xml（在$HADOOP_HOME/etc/hadoop目录下）：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://namenode:9000</value>
         </property>
     </configuration>
     

   • hdfs-site.xml：

     <configuration>
         <property>
             <name>dfs.replication</name>
             <value>3</value>
         </property>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/path/to/namenode/data</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/path/to/datanode/data</value>
         </property>
     </configuration>
     

   • yarn-site.xml：

     <configuration>
         <property>
             <name>yarn.resourcemanager.hostname</name>
             <value>resourcemanager</value>
         </property>
     </configuration>
     

4. 格式化NameNode：在主节点上执行以下命令来格式化NameNode：

   hdfs namenode -format
   

5. 启动Hadoop集群：

   • 在主节点上启动NameNode和ResourceManager：

     start-dfs.sh
     start-yarn.sh
     

   • 在DataNode上启动DataNode和NodeManager：

     hadoop-daemon.sh start datanode
     yarn-daemon.sh start datanode
     

验证集群

1. 检查HDFS状态：访问主节点的Web界面（通常是http://namenode:50070），查看HDFS的状态。

2. 上传文件：使用Hadoop命令行工具上传文件到HDFS：

   hadoop fs -put /local/path/file.txt /hdfs/path/
   

3. 查看文件：列出HDFS上的文件：

   hadoop fs -ls /hdfs/path/
   

通过以上步骤，你应该能够在Ubuntu上成功搭建一个基本的HDFS集群。根据实际需求，你可能还需要进行更多的配置和优化。