HDFS在Ubuntu上如何启动

一、启动HDFS的前提条件

在Ubuntu上启动HDFS前，需完成以下基础准备：

1. 安装Java环境：Hadoop依赖Java，需安装OpenJDK 8（或更高版本）。

   sudo apt update
   sudo apt install openjdk-8-jdk
   java -version  # 验证安装（需显示Java版本信息）
   

2. 下载并解压Hadoop：从Apache官网下载稳定版Hadoop（如3.3.4），解压至指定目录（如/usr/local/）。

   wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
   tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/
   

3. 配置环境变量：编辑~/.bashrc（或/etc/profile），添加Hadoop路径：

   export HADOOP_HOME=/usr/local/hadoop-3.3.4
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   source ~/.bashrc  # 使配置生效
   

4. 配置HDFS核心文件：进入$HADOOP_HOME/etc/hadoop，编辑以下文件：
   • core-site.xml：设置HDFS默认文件系统地址。

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
         </property>
     </configuration>
     

   • hdfs-site.xml：配置NameNode/Datanode目录及副本数（单机模式设为1）。

     <configuration>
         <property>
             <name>dfs.replication</name>
             <value>1</value>
         </property>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/usr/local/hadoop-3.3.4/data/namenode</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/usr/local/hadoop-3.3.4/data/datanode</value>
         </property>
     </configuration>
     

5. 创建HDFS数据目录：手动创建NameNode和DataNode的存储目录，并赋予权限。

   sudo mkdir -p /usr/local/hadoop-3.3.4/data/namenode
   sudo mkdir -p /usr/local/hadoop-3.3.4/data/datanode
   sudo chown -R $USER:$USER /usr/local/hadoop-3.3.4/data  # 当前用户拥有目录权限
   

二、启动HDFS的具体步骤

1. 格式化NameNode（首次启动必须执行）：
   格式化会清空NameNode元数据（若已有数据需谨慎操作），初始化HDFS文件系统。

   hdfs namenode -format
   

2. 启动HDFS服务：
   使用start-dfs.sh脚本启动HDFS集群，该脚本会自动启动NameNode（主节点）和DataNode（数据节点）。

   start-dfs.sh
   

3. 验证HDFS运行状态：
   • 命令行验证：运行jps命令，若看到NameNode、DataNode进程，则说明启动成功。

     jps
     

   • Web界面验证：打开浏览器访问http://localhost:9000（默认端口），若显示HDFS文件系统状态页面，则表示服务正常运行。

三、常见问题排查

• 权限问题：若启动时报“Permission denied”，需用sudo chown将Hadoop目录所有权赋予当前用户。
• 端口冲突：若9000端口被占用，可修改core-site.xml中的fs.defaultFS端口（如9001），并同步更新Web界面访问端口。
• 配置文件错误：检查core-site.xml、hdfs-site.xml的语法（如标签闭合），确保路径正确。