Debian上Hadoop资源分配如何实现

Debian上Hadoop资源分配实现指南

一 架构与总体思路

• 在 YARN 上完成资源分配：由 ResourceManager 做全局资源仲裁，NodeManager 管理本机资源并上报，ApplicationMaster 为每个应用向 RM 申请以 Container 为单位的资源。
• 通过 调度器 与 队列 实现多租户与策略控制：常用 Fair Scheduler 或 Capacity Scheduler，可按队列设置配额、权重与优先级，实现资源隔离与保障。
• 资源粒度由容器参数控制：包括容器内存与 vCPU，并受节点可分配总量与调度器上下限约束。

二 环境准备与基础配置

• 硬件与系统建议：每个节点至少 4 核 CPU/16GB 内存（推荐 8 核/32GB+），NameNode 建议 SSD ≥ 500GB，DataNode 每节点 ≥ 2TB；网络推荐 千兆/万兆以太网；操作系统使用 Debian，安装 Java 8+。
• 安装与环境变量（所有节点）：
  • 安装 Java：sudo apt update && sudo apt install -y openjdk-8-jdk
  • 下载并解压 Hadoop（示例 3.3.x）：tar -xzvf hadoop-3.3.x.tar.gz -C /usr/local
  • 环境变量（~/.bashrc）：export HADOOP_HOME=/usr/local/hadoop-3.3.x；export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin；source ~/.bashrc
• 主机互通与主机名：配置 /etc/hosts 或使用 DNS，确保各节点可互相解析主机名。

三 关键配置步骤与示例

• 配置文件路径：$HADOOP_HOME/etc/hadoop
• 核心配置示例（按节点角色调整参数值）：
  • core-site.xml
    • fs.defaultFS：HDFS 地址（如 hdfs://namenode:9000）
  • hdfs-site.xml
    • dfs.replication：副本数（如 3）
    • dfs.namenode.name.dir / dfs.datanode.data.dir：元数据与数据目录
  • mapred-site.xml
    • mapreduce.framework.name：yarn
  • yarn-site.xml（资源分配核心）
    • yarn.resourcemanager.hostname：指定 RM 主机
    • yarn.nodemanager.aux-services：mapreduce_shuffle
    • yarn.nodemanager.resource.memory-mb：节点可分配给容器的总内存（如 16384 MB）
    • yarn.nodemanager.resource.cpu-vcores：节点可分配的 vCPU 数（如 8）
    • yarn.scheduler.minimum-allocation-mb / maximum-allocation-mb：容器内存上下限（如 1024 / 8192 MB）
    • yarn.scheduler.minimum-allocation-vcores / maximum-allocation-vcores：容器 vCPU 上下限（如 1 / 4）
    • yarn.scheduler.increment-allocation-mb / increment-allocation-vcores：容器内存/CPU 增量（如 512 MB / 1 vcore）
• 初始化与启动
  • 在 NameNode 执行：hdfs namenode -format
  • 启动：start-dfs.sh；start-yarn.sh
• 验证
  • jps 检查进程；yarn node -list 查看节点资源；访问 RM Web UI（默认 8088 端口）。

四 队列与调度策略配置

• 选择调度器：在 capacity-scheduler.xml（Capacity Scheduler）或 fair-scheduler.xml（Fair Scheduler）中配置；并在 yarn-site.xml 指定使用的调度器类（如 CapacityScheduler/FairScheduler）。
• 队列与配额示例（Capacity Scheduler，置于 capacity-scheduler.xml 的 内）：
  • 根队列容量与默认队列：
    • yarn.scheduler.capacity.root.queues：default,prod
    • yarn.scheduler.capacity.root.default.capacity：40
    • yarn.scheduler.capacity.root.prod.capacity：60
    • yarn.scheduler.capacity.root.default.maximum-capacity：100
    • yarn.scheduler.capacity.root.prod.maximum-capacity：100
  • 用户与应用限制（可选）：
    • yarn.scheduler.capacity.root.default.user-limit-factor：1
    • yarn.scheduler.capacity.root.prod.state：RUNNING
• 使用与验证：
  • 提交作业到指定队列：yarn jar your-app.jar … -D mapreduce.job.queuename=prod
  • 查看队列与资源：yarn queue -status prod；通过 RM Web UI 观察队列资源使用与抢占情况。

五 动态资源分配与运行监控

• 动态资源分配（适用于 MapReduce on YARN）
  • 在 mapred-site.xml 启用：
    • mapreduce.jobtracker.am-scheduling-mode：fair（或按需设置）
    • yarn.app.mapreduce.am.resource.mb：AM 容器内存（如 2048 MB）
    • yarn.app.mapreduce.am.resource.cpu-vcores：AM 容器 vCPU（如 1）
  • 在 yarn-site.xml 启用动态分配（MR 作业使用）：
    • yarn.resourcemanager.scheduler.class：org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler（若使用 Fair 调度器）
    • mapreduce.job.reduce.shuffle.parallelcopies：提高 Shuffle 并行度（如 20）
• 运行与监控
  • 常用命令：
    • 查看节点与资源：yarn node -list -all
    • 查看应用与容器：yarn application -list；yarn container -list <app_id>
    • 日志聚合：启用后可在 RM Web UI 的日志聚合页查看各容器日志，便于定位资源相关问题
  • 调优要点：
    • 容器内存与 vCPU 需与作业特性匹配；避免过小的容器导致调度与 GC 开销过大，或过大容器造成碎片
    • 结合数据本地性优化任务调度，减少网络传输
    • 持续监控 CPU/内存/磁盘 IO/网络 与作业完成时间，按监控结果迭代队列配额与容器大小。