CentOS HDFS资源调度配置

CentOS上配置HDFS资源调度主要通过YARN实现，核心步骤如下：

1. 环境准备

   • 安装JDK 8+并配置环境变量。
   • 配置SSH免密登录，确保节点间通信。

2. 安装与配置Hadoop

   • 下载解压Hadoop，编辑/etc/profile添加环境变量。
   • 核心配置文件：
     • core-site.xml：设置HDFS默认路径（如fs.defaultFS=hdfs://namenode:8020）。
     • hdfs-site.xml：配置副本数（dfs.replication）、块大小（dfs.blocksize）等。
     • yarn-site.xml：指定ResourceManager主机，配置内存、CPU资源分配参数（如yarn.scheduler.minimum-allocation-mb）。

3. 资源调度策略配置

   • 在yarn-site.xml中通过yarn.scheduler.class指定调度器：
     • FIFO（默认）：按任务提交顺序执行。
     • Capacity Scheduler：按队列分配固定资源比例，适合多租户。
     • Fair Scheduler：动态分配资源，平衡公平性与效率。

4. 启动与验证

   • 启动HDFS：start-dfs.sh，验证状态：hdfs dfsadmin -report。
   • 启动YARN：start-yarn.sh，通过ResourceManager Web UI（默认http://namenode:8088）监控资源使用。

5. 优化与高可用

   • 启用数据本地化：在yarn-site.xml中配置yarn.scheduler.capacity.node-locality-delay参数。
   • 配置高可用：设置Secondary NameNode和ZooKeeper，避免单点故障。

参数说明：

• yarn.nodemanager.resource.memory-mb：单个节点可分配内存。
• yarn.scheduler.maximum-allocation-mb：单个任务可申请的最大内存。
• dfs.replication：数据副本数，默认3份。

具体配置需根据集群规模和业务需求调整，建议参考Hadoop官方文档。