Hadoop在Ubuntu上的资源管理策略是什么

Hadoop在Ubuntu上的资源管理策略

架构与职责

• 在 Ubuntu 上，Hadoop 采用 YARN（Yet Another Resource Negotiator） 统一管理集群资源，核心角色包括：
  • ResourceManager（RM）：全局资源仲裁与调度，基于队列/策略为应用分配容器（Container）。
  • NodeManager（NM）：单节点资源管理与容器生命周期控制，上报本机可用资源与容器状态。
  • ApplicationMaster（AM）：每个作业一个 AM，向 RM 申请容器并与 NM 协作运行任务（Map/Reduce 等）。
  • 作业运行流程简述：客户端提交作业 → RM 分配首个容器启动 AM → AM 按资源需求继续向 RM 申请 Map/Reduce 容器 → 任务在 NM 容器中执行并向 AM/RM 汇报进度 → 作业完成后资源回收。上述机制与节点角色分工在 Hadoop on Linux 环境中一致，Ubuntu 作为操作系统并不改变资源管理本质。

调度器与队列策略

• YARN 提供三类调度器，需在 yarn-site.xml 通过 yarn.resourcemanager.scheduler.class 指定，适配不同业务场景：
  • FIFO Scheduler：按提交顺序执行，简单但不适合多租户与资源共享。
  • Capacity Scheduler：多队列、容量保证与队列内 FIFO，适合多租户与资源隔离（Hadoop 2.x 起默认）。
  • Fair Scheduler：多队列、作业间动态公平分配，适合追求小作业快速响应与整体利用率的场景。
• 配置要点（示例）：
  • Capacity Scheduler（capacity-scheduler.xml）：定义队列与容量比例，如 root 下 default 50% / hive_queue 30% / mapreduce_queue 20%，实现配额与隔离。
  • Fair Scheduler（fair-scheduler.xml）：以权重方式分配，如 default 1.0 / hive_queue 2.0 / mapreduce_queue 1.5，按权重动态分配资源。
• 选择建议：多租户/配额严格 → Capacity；强调公平与响应 → Fair；单一大作业、顺序敏感 → FIFO。

节点资源配置与容器分配

• 在 yarn-site.xml 配置节点可分配资源与容器边界，常见关键参数与示例：
  • yarn.nodemanager.resource.memory-mb：节点可分配给容器的总内存（如 8192 MB）。
  • yarn.nodemanager.resource.cpu-vcores：节点可分配的虚拟 CPU 核数（如 8 vcores）。
  • yarn.scheduler.minimum-allocation-mb / maximum-allocation-mb：单个容器的最小/最大内存请求（如 1 GB / 8 GB），避免过小/过大容器导致碎片或资源浪费。
  • yarn.nodemanager.aux-services：启用 mapreduce_shuffle 服务，保障 Map 输出到 Reduce 的 Shuffle 通道。
• 作业侧内存与 JVM：通过 mapreduce.map.java.opts / mapreduce.reduce.java.opts 设置 Map/Reduce 任务堆大小（如 -Xmx4G），并与容器内存匹配，避免 OOM 或堆过小影响性能。

系统级与数据层面的配合优化

• 系统资源与 Linux 调优（Ubuntu 通用）：
  • 提升 文件描述符限制 与内核网络/文件系统参数，减少资源争用与 I/O 瓶颈。
  • 使用 cgroups/ulimit 对进程资源进行硬限制，避免异常作业影响节点稳定性。
  • 采用 SSD、保障 高带宽网络，降低 I/O 与 Shuffle 时延。
• 数据布局与作业特性：
  • 调整 HDFS 块大小（dfs.blocksize）（如 256 MB）以匹配数据规模与访问模式，减少 NameNode 压力与 I/O 次数。
  • 启用 数据压缩（如 mapreduce.map.output.compress / mapreduce.output.fileoutputformat.compress，推荐 Snappy/LZO），降低磁盘与网络开销。
  • 提升 数据本地性：通过 mapreduce.job.locality.wait 控制任务等待本地数据的时长，优先在数据所在节点执行 Map 任务，减少跨节点网络传输。

监控与验证

• 服务与 UI：
  • 启动服务：start-dfs.sh / start-yarn.sh；查看节点：yarn node -list；检查 HDFS：hdfs dfsadmin -report。
  • ResourceManager Web UI：http://<RM_HOST>:8088；HDFS NameNode Web UI：http://<NN_HOST>:9870，用于观察队列资源、应用与容器分配、节点健康度。
• 运维与观测：
  • 结合 Ambari/Cloudera Manager 或 Ganglia/Prometheus+Grafana 持续监控 CPU、内存、磁盘、网络与 YARN 队列指标；定期分析 JobHistory Server 日志定位慢任务与数据倾斜。