Debian上Hadoop资源分配策略

在Debian上配置Hadoop资源分配策略主要涉及对YARN（Yet Another Resource Negotiator）的配置，因为YARN是Hadoop中负责资源管理和调度的核心组件。以下是一些关键步骤和配置要点：

YARN资源管理器配置

• 配置参数：
  • yarn.nodemanager.resource.memory-mb：可分配的物理内存总量，默认是8*1024MB，即8GB。
  • yarn.nodemanager.vmem-pmem-ratio：任务使用单位物理内存量对应最多可使用的虚拟内存量，默认值是2.1。
  • yarn.nodemanager.resource.cpu-vcore：可分配的虚拟CPU个数，默认是8。可以根据CPU性能异构性为每个物理CPU划分多个虚拟CPU。

Hadoop配置文件

• core-site.xml：配置HDFS的位置和其他相关属性。
• hdfs-site.xml：配置HDFS数据备份数量、namenode存储元数据的位置等。
• mapred-site.xml：配置MapReduce运行的平台等信息。
• yarn-site.xml：配置YARN的资源管理器和调度器等相关信息。

资源调度策略

• Capacity Scheduler：基于容量的调度器，适用于资源需求可预测的应用。
• Fair Scheduler：基于公平的调度器，可以为不同的应用程序分配资源，适用于资源需求波动的应用。

请注意，以上信息基于Hadoop 2.x和3.x版本的通用配置，具体配置可能需要根据实际的Hadoop版本和集群规模进行调整。同时，资源分配策略可能需要根据实际的工作负载和集群资源情况进行优化。