CentOS Hadoop 资源如何分配

在CentOS上分配Hadoop资源主要通过配置YARN实现，核心步骤如下：

1. 安装与配置YARN

   • 安装YARN组件：sudo yum install hadoop-yarn。
   • 配置yarn-site.xml，设置ResourceManager和NodeManager参数，如yarn.resourcemanager.hostname。

2. 设置资源分配策略

   • 调度器选择：
     • 容量调度器（Capacity Scheduler）：按队列分配固定资源，适合多租户场景，配置yarn.scheduler.capacity.root.queues等参数。
     • 公平调度器（Fair Scheduler）：动态平衡资源，支持权重和抢占，配置yarn.scheduler.fair.allocation.file指向调度策略文件。
     • FIFO调度器（默认）：按作业提交顺序执行，适合批处理。

3. 调整资源参数

   • 内存与CPU：
     • 设置节点可用内存：yarn.nodemanager.resource.memory-mb。
     • 配置容器最小/最大资源：yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mb。
   • 任务资源：设置Map/Reduce任务内存，如mapreduce.map.memory.mb。

4. 启用动态资源分配

   • 在mapred-site.xml中启用动态分配：mapreduce.job.dynamic.max.executors。

5. 监控与优化

   • 通过YARN ResourceManager UI（http://resourcemanager:8088）监控资源使用情况。
   • 根据负载调整队列容量或启用自动扩缩容。

关键配置文件：

• yarn-site.xml：定义资源管理器和调度策略。
• capacity-scheduler.xml/fair-scheduler.xml：配置队列资源分配。

参考来源：