CentOS HDFS与YARN集成配置指南

以下是在CentOS上集成HDFS与YARN的配置指南：

系统初始化

• 安装JDK 8，确保各节点均已安装。
• 关闭防火墙和SELinux。
• 配置网络，设置主机名与IP的映射，确保集群内主机名解析正确，并配置SSH免密码登录。

HDFS配置

• 下载并解压Hadoop安装包，设置HADOOP_HOME环境变量。
• 编辑core-site.xml，配置fs.defaultFS为hdfs://localhost:9000。
• 编辑hdfs-site.xml，设置dfs.replication等参数。
• 在主节点执行hdfs namenode -format格式化NameNode。
• 启动HDFS服务，使用start-dfs.sh脚本。

YARN配置

• 编辑yarn-site.xml，配置yarn.resourcemanager.hostname和yarn.nodemanager.aux - services等参数。
• 编辑mapred-site.xml，设置mapreduce.framework.name为yarn。
• 启动YARN服务，使用start-yarn.sh脚本。

验证配置

使用jps命令查看进程，应看到NameNode、DataNode、ResourceManager、NodeManager等进程。还可通过访问HDFS的Web界面http://localhost:50070和YARN的Web界面http://localhost:8088来确认集群运行状态。