Debian Hadoop 资源分配策略

在Debian上配置Hadoop时，资源管理策略是一个关键部分，它涉及到如何有效地分配和管理集群中的计算资源。以下是一些关键配置和策略：

YARN资源管理

• ResourceManager (RM)：作为集群资源的仲裁者，负责管理整个集群的计算资源，并将这些资源分配给应用程序。它包括一个可插拔式的调度器（Scheduler）和一个ApplicationManager，用于管理集群中的用户作业。
• NodeManager (NM)：每个节点上的代理，管理该节点上的用户作业和工作流，并不断发送自己Container使用情况给ResourceManager。
• ApplicationMaster (AM)：应用程序级别的管理实体，负责与ResourceManager协商以获取资源（以Container表示），并将得到的资源进一步分配给内部的任务。

关键配置参数

ResourceManager：

• yarn.scheduler.minimum-allocation-mb：最小容器内存
• yarn.scheduler.increment-allocation-mb：容器内存增量
• yarn.scheduler.maximum-allocation-mb：最大容器内存
• yarn.scheduler.minimum-allocation-vcores：最小容器虚拟CPU内核数量
• yarn.scheduler.increment-allocation-vcores：容器虚拟CPU内核增量
• yarn.scheduler.maximum-allocation-vcores：最大容器虚拟CPU内核数量
• yarn.resourcemanager.webapp.address：ResourceManager Web应用程序HTTP端口。

ApplicationMaster：

• yarn.resourcemanager.am.max-attempts：ApplicationMaster最大尝试次数
• yarn.am.liveness-monitor.expiry-interval-ms：ApplicationMaster监控过期。

NodeManager：

• yarn.nodemanager.resource.memory-mb：节点内存
• yarn.nodemanager.resource.cpu-vcores：节点虚拟CPU内核
• yarn.nodemanager.webapp.address：NodeManager Web应用程序HTTP端口。

资源调度策略

• Capacity Scheduler：基于容量的调度器，适用于资源需求可预测的应用。
• Fair Scheduler：基于公平的调度器，可以为不同的应用程序分配资源，适用于资源需求波动的应用。

优化资源管理

• 使用公平调度器（Fair Scheduler）或容量调度器（Capacity Scheduler）来根据不同的需求和优先级分配资源。
• 创建多个队列并为每个队列设置不同的资源配额和优先级，以确保高优先级的作业得到足够的资源。
• 为需要特定资源保证的作业使用资源预留功能，避免其他作业抢占这些资源。
• 根据作业需求调整容器大小，对于内存密集型的作业，可以增加容器的内存大小。
• 将数据存储在接近计算节点的位置，减少数据传输开销，提高作业执行速度。

以上信息提供了在Debian上配置Hadoop资源管理策略的基本框架和关键配置参数。根据具体的业务需求和集群规模，可能还需要进行进一步的调整和优化。