CentOS HDFS集群搭建指南

以下是在CentOS上搭建HDFS集群的指南：

环境准备

• 操作系统：使用CentOS 7或更高版本。
• 安装Java：安装JDK 8或更高版本，配置JAVA_HOME环境变量。
• 配置网络：确保节点在同一网络，配置静态IP，修改/etc/hosts文件使主机名与IP正确映射。
• 安装Hadoop：从官网下载Hadoop安装包，解压到指定目录。

配置Hadoop

• 配置环境变量：编辑/etc/profile或/etc/profile.d/hadoop.sh文件，添加HADOOP_HOME和PATH。
• 配置核心文件：
  • core-site.xml：设置fs.defaultFS为hdfs://namenode:9000。
  • hdfs-site.xml：配置副本数、NameNode和DataNode的存储目录等。
  • mapred-site.xml和yarn-site.xml：根据需要配置MapReduce和YARN参数。

配置SSH免密登录

在所有节点上生成SSH密钥对，将公钥复制到其他节点的~/.ssh/authorized_keys文件中。

格式化NameNode

在NameNode节点上执行hdfs namenode -format命令。

启动HDFS集群

在NameNode节点上执行start-dfs.sh脚本启动HDFS集群。

验证集群状态

使用jps命令检查NameNode、DataNode等进程是否正常运行，也可访问HDFS的Web界面或使用hdfs dfs命令测试。

高可用性配置（可选）

配置ZooKeeper集群，修改core-site.xml和hdfs-site.xml文件以启用高可用性特性，配置JournalNode，实现NameNode的主备切换。