Debian中Hadoop资源管理如何实现

Debian上Hadoop资源管理实现指南

一 架构与核心组件

• 在 Debian 上，Hadoop 的资源管理由 YARN（Yet Another Resource Negotiator） 负责，核心角色包括：
  • ResourceManager：全局资源调度与分配。
  • NodeManager：单节点资源管理与容器生命周期控制。
  • ApplicationMaster：每个作业的任务协调与资源申请。
  • 计算框架（如 MapReduce/Spark）通过 YARN 的 ApplicationMaster 向 ResourceManager 申请容器（Container）运行任务。
• 典型流程：作业提交 → ResourceManager 分配容器 → NodeManager 在本机拉起容器 → ApplicationMaster 管理任务执行与容错。

二 部署与基础配置

• 准备环境
  • 安装 Java 8/11（示例：sudo apt install openjdk-11-jdk），配置 JAVA_HOME 与 HADOOP_HOME，并将 Hadoop 的 bin 与 sbin 加入 PATH。
• 配置关键文件（位于 $HADOOP_HOME/etc/hadoop）
  • core-site.xml：设置默认文件系统，例如
    • fs.defaultFShdfs://namenode:9000
  • hdfs-site.xml：副本与目录（示例：dfs.replication=3；dfs.namenode.name.dir/dfs.datanode.data.dir 指向本地存储）。
  • mapred-site.xml：指定使用 YARN
    • mapreduce.framework.nameyarn
  • yarn-site.xml：启用 Shuffle 服务与 ResourceManager 主机
    • yarn.nodemanager.aux-servicesmapreduce_shuffle
    • yarn.resourcemanager.hostnamenamenode
• 集群与服务
  • 配置 SSH 免密登录（便于启动集群脚本在各节点执行）。
  • 在 NameNode 上执行 hdfs namenode -format 初始化 HDFS。
  • 启动服务：在 NameNode 执行 start-dfs.sh 与 start-yarn.sh；使用 jps 检查进程（NameNode、DataNode、ResourceManager、NodeManager）。

三 资源配置与调度要点

• 内存与容器
  • 在 yarn-site.xml 设置节点可分配内存与调度上下限，例如：
    • yarn.nodemanager.resource.memory-mb：16384
    • yarn.scheduler.minimum-allocation-mb：1024
    • yarn.scheduler.maximum-allocation-mb：8192
  • 在 mapred-site.xml 设置 Map/Reduce 容器内存（示例：mapreduce.map.memory.mb=2048；mapreduce.reduce.memory.mb=4096），并确保不超过上述调度上限。
• CPU 与虚拟核
  • 设置 yarn.nodemanager.resource.cpu-vcores（如 8），并按需配置容器虚拟核（如 mapreduce.map.cpu.vcores=1）。
• 队列与容量调度
  • 使用 CapacityScheduler（默认）定义 队列（queues）、容量（capacity） 与 最大容量（maximum-capacity），实现多租户与资源隔离；通过 yarn.scheduler.capacity.root.queues 配置队列层级，并为队列设置 yarn.scheduler.capacity..capacity 与 maximum-capacity。
• 动态资源分配（适用于多作业场景）
  • 在 yarn-site.xml 启用动态资源分配：
    • yarn.resourcemanager.scheduler.class：org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
    • yarn.scheduler.capacity.resource-calculator：org.apache.hadoop.yarn.util.resource.DominantResourceCalculator
    • yarn.resourcemanager.dynamic-resource-dispatcher.enabled：true
  • 在 mapred-site.xml 启用 MapReduce 动态分配：
    • mapreduce.jobtracker.expire.trackers.interval：60000
    • mapreduce.jobtracker.tasktracker.expiry.interval：60000
    • mapreduce.jobtracker.task.maxmemory.mb：4096
    • 注：若运行 Spark on YARN，在 spark-defaults.conf 中设置 spark.dynamicAllocation.enabled=true（此为 Spark 侧参数，非 Hadoop 原生）。

四 监控与运维

• 命令行巡检
  • 节点与资源：yarn node -list -all；查看各节点 内存/CPU/容器 使用情况。
  • HDFS 健康：hdfs dfsadmin -report；核对 DataNode 数量与容量。
  • 应用与日志：yarn application -list/-status <app_id>；通过 ResourceManager Web UI（默认 8088） 与 NameNode Web UI（常见 50070 或 9870） 定位瓶颈与失败任务。

五 快速验证与常见问题

• 快速验证
  • 提交示例作业：hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /input /output；在 8088 页面观察应用与容器分配是否符合预期。
• 常见问题与排查
  • 容器申请被拒或排队：检查 yarn.scheduler.minimum-allocation-mb 与作业请求的容器大小是否匹配；确认 yarn.nodemanager.resource.memory-mb 足够。
  • 节点不健康或缺失：核对 /etc/hosts、防火墙与 SSH；查看 NodeManager 日志与 yarn node -list。
  • Shuffle 失败：确认 yarn.nodemanager.aux-services=mapreduce_shuffle 已配置且 mapreduce_shuffle 类在 CLASSPATH 中。