在CentOS上集成HDFS（Hadoop Distributed File System）与YARN（Yet Another Resource Negotiator）涉及多个步骤，包括环境准备、配置文件修改、服务启动等。以下是详细的集成步骤：
环境准备
- 安装CentOS 7：确保所有节点上安装了CentOS 7操作系统。
- 关闭防火墙：临时关闭防火墙以便于Hadoop服务启动和测试。
- 禁用SELinux：禁用SELinux以减少配置复杂性。
- 配置时间同步：配置时间同步以确保集群节点之间的时间一致性。
- 配置IP与主机名映射：在所有节点上配置IP地址与主机名的映射。
- SSH无密钥登录：配置SSH无密钥登录以便于节点间通信。
- 安装JDK 8：在所有节点上安装JDK 8。
HDFS配置
- 解压Hadoop：在所有节点上解压Hadoop安装包。
- 配置环境变量：配置Hadoop环境变量，如
HADOOP_HOME。
- 配置核心-site.xml：配置HDFS的核心属性，如NameNode和DataNode的地址。
- 配置hdfs-site.xml：配置HDFS的文件系统属性，如副本数、块大小等。
- 配置slaves文件：指定DataNode的主机名。
- 格式化NameNode：在NameNode上执行格式化命令。
- 启动HDFS：使用
start-dfs.sh 脚本启动HDFS集群并验证其状态。
YARN配置
- 修改yarn-site.xml：配置YARN的属性，如ResourceManager和NodeManager的地址、Zookeeper地址等。对于高可用性配置，需要启用ResourceManager HA并配置多个ResourceManager实例。
- 同步配置文件：将配置文件同步到所有NodeManager节点。
- 启动YARN服务：在ResourceManager节点上启动YARN服务，并在所有NodeManager节点上启动NodeManager服务。
- 验证YARN服务状态：使用YARN提供的Web界面或其他工具验证YARN服务是否正常运行。
验证集成
- 使用jps命令：检查HDFS和YARN的进程是否正常运行。
- 访问Web界面：
- HDFS: http://namenode-host:50070
- YARN: http://resourcemanager-host:8088
集成的好处
- 提高资源利用率：YARN的资源调度能力使得集群资源得到更高效的利用。
- 支持多种计算框架：HDFS与YARN的集成支持多种大数据处理框架，如MapReduce、Spark等，提高了系统的灵活性和可扩展性。
在进行上述配置时，请确保所有节点的配置文件保持一致。在启动HDFS和YARN服务之前，请确保所有必要的端口已打开，并且网络配置正确。对于生产环境，建议使用更高版本的Hadoop，并遵循官方的最佳实践进行配置和部署。