CentOS HDFS配置全攻略

以下是在CentOS上配置HDFS的详细步骤：

环境准备

• 安装Java：Hadoop依赖Java，使用命令sudo yum install java-1.8.0-openjdk-devel安装JDK 8或更高版本，并通过java -version验证安装。
• 配置网络：设置静态IP，编辑/etc/sysconfig/network-scripts/ifcfg-ens33等文件，确保节点间能通信。同时配置主机名，修改/etc/hostname和/etc/hosts文件。
• 安装Hadoop：从Apache官网下载最新版Hadoop，解压到指定目录，如/usr/local/hadoop。

配置Hadoop环境变量

编辑/etc/profile.d/hadoop.sh文件，添加export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk、export HADOOP_HOME=/usr/local/hadoop和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin，然后执行source /etc/profile.d/hadoop.sh使配置生效。

配置HDFS核心文件

• core-site.xml：设置fs.defaultFS为hdfs://namenode:9000，还可配置hadoop.tmp.dir等。
• hdfs-site.xml：配置dfs.replication（副本数）、dfs.namenode.name.dir（NameNode数据目录）、dfs.datanode.data.dir（DataNode数据目录）等。

配置SSH免密登录

在NameNode节点上执行ssh-keygen -t rsa生成密钥对，然后使用ssh-copy-id将公钥复制到所有DataNode节点，实现无密码登录。

格式化NameNode

在NameNode节点上执行hdfs namenode -format，仅在首次启动前执行。

启动HDFS

在NameNode节点上执行start-dfs.sh启动HDFS集群。

验证HDFS

使用jps命令检查NameNode、DataNode等进程是否正常运行，也可通过访问http://namenode:50070查看HDFS状态。

配置防火墙

使用firewall-cmd命令开放Hadoop所需端口，如9000、50010、50070等，然后执行firewall-cmd --reload使配置生效。

以上步骤为基本配置，实际生产环境中可根据需求进行优化，如配置高可用性等。