CentOS HDFS安装步骤

以下是在CentOS上安装HDFS的核心步骤（基于Hadoop 3.x版本）：

1. 环境准备

   • 确保系统为CentOS 7/8，安装Java 8+并配置环境变量：

     sudo yum install java-1.8.0-openjdk-devel  
     echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk" >> ~/.bashrc  
     source ~/.bashrc  
     

   • 配置静态IP、主机名映射（/etc/hosts）及SSH免密登录。

2. 下载与解压Hadoop

   • 从Apache官网下载Hadoop（如3.3.1版本），解压至指定目录（如/usr/local）：

     wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz  
     tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/  
     sudo mv /usr/local/hadoop-3.3.1 /usr/local/hadoop  
     

3. 配置环境变量

   • 编辑/etc/profile.d/hadoop.sh，添加：

     export HADOOP_HOME=/usr/local/hadoop  
     export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin  
     

     使配置生效：source /etc/profile.d/hadoop.sh。

4. 配置HDFS核心文件

   • core-site.xml：设置默认文件系统（伪分布式可配置为localhost）：

     <property><name>fs.defaultFS</name><value>hdfs://namenode:9000</value></property>  
     

   • hdfs-site.xml：配置副本数、数据存储路径：

     <property><name>dfs.replication</name><value>3</value></property>  
     <property><name>dfs.namenode.name.dir</name><value>/usr/local/hadoop/data/namenode</value></property>  
     <property><name>dfs.datanode.data.dir</name><value>/usr/local/hadoop/data/datanode</value></property>  
     

     创建数据目录并授权：

     sudo mkdir -p /usr/local/hadoop/data/{namenode,datanode}  
     sudo chown -R hadoop:hadoop /usr/local/hadoop/data  
     

5. 格式化NameNode

   • 在NameNode节点执行：

     hdfs namenode -format  
     

6. 启动HDFS集群

   • 启动服务：

     start-dfs.sh  
     

     （若需启动YARN，执行start-yarn.sh）

7. 验证安装

   • 使用jps命令查看进程（需看到NameNode、DataNode等）：

     jps  
     

   • 通过Web界面（如http://namenode:9870）检查HDFS状态。

注意事项：

• 生产环境需配置防火墙开放端口（如9000、9870等）。
• 多节点集群需在所有节点上重复上述步骤，并确保主机名与IP正确映射。
• 可选配置：调整块大小、副本数等参数以适配业务需求。

参考来源：