CentOS中HDFS集群搭建步骤是什么

以下是在CentOS中搭建HDFS集群的基本步骤：

1. 环境准备：
   • 安装Java：使用yum install -y java-1.8.0-openjdk-devel安装JDK 8。
   • 配置主机名和静态IP：使用hostnamectl设置主机名，编辑网络配置文件配置静态IP。
   • 配置SSH免密登录：使用ssh-keygen -t rsa生成密钥，ssh-copy-id复制公钥到其他节点。
2. 安装Hadoop：
   • 下载Hadoop：从官网下载对应版本的安装包，如wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz。
   • 解压Hadoop：tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/，并重命名目录。
3. 配置环境变量：编辑/etc/profile.d/hadoop.sh，添加JAVA_HOME、HADOOP_HOME和PATH变量，然后执行source /etc/profile.d/hadoop.sh使配置生效。
4. 配置Hadoop：
   • 编辑core-site.xml，设置fs.defaultFS为hdfs://namenode_hostname:9000。
   • 编辑hdfs-site.xml，配置dfs.replication、dfs.namenode.name.dir和dfs.datanode.data.dir等参数。
   • 编辑mapred-site.xml和yarn-site.xml，配置MapReduce和YARN相关参数。
5. 格式化NameNode：在NameNode节点上执行hdfs namenode -format。
6. 启动HDFS集群：在NameNode节点上执行start-dfs.sh。
7. 验证集群状态：使用jps检查进程，访问http://namenode_hostname:50070查看Web界面。

若需配置高可用，还需配置Zookeeper集群、修改相关配置文件并启动JournalNode等。