Linux中Hadoop集群怎样优化配置

Linux下Hadoop集群优化配置指南

一 操作系统与硬件层优化

• 资源与文件句柄
  • 提升进程可打开文件数与进程数：在 /etc/security/limits.conf 设置如 soft/hard nofile 65536、soft/hard nproc 32768，并确认登录会话生效（ulimit -n/-u）。内核层面可设 fs.file-max=6815744。
• 网络栈与端口
  • 提高连接与半连接队列：net.core.somaxconn=2048、net.ipv4.tcp_max_syn_backlog=2048、net.ipv4.ip_local_port_range=1024 65535。
• 虚拟内存与Swap
  • 降低换页倾向：vm.swappiness=1~10；大数据节点尽量避免使用Swap（必要时仅对特定服务做例外）。
• 磁盘与文件系统
  • 挂载选项使用 noatime,nodiratime；顺序读场景可适当增大预读：blockdev --setra 1024 /dev/sdX；I/O调度器按负载选择（如 noop/deadline 利于SSD与大数据顺序I/O）。
• 时间同步与名称解析
  • 全集群启用 NTP/chrony 同步；确保 FQDN 正向/反向解析正常，必要时启用 nscd 降低DNS延迟。
• 透明大页（THP）
  • 生产环境建议关闭或设置为 madvise，避免JVM停顿抖动。
• 网络与存储硬件
  • 优先 SSD、多盘并行、充足内存与高带宽网络，减少I/O与网络成为瓶颈。

二 HDFS与YARN核心参数

• HDFS
  • 块大小：根据作业粒度与数据规模调整 dfs.blocksize，常见为 256MB/512MB（默认 128MB），大文件/长任务可适当增大以减少小任务与元数据压力。
  • 副本数：dfs.replication 默认 3，可按数据重要性与成本在 2~3 间权衡。
  • 元数据与并发：dfs.namenode.handler.count 建议按集群规模设置，经验值约为 20 × logN（N为集群DataNode数），提升NameNode RPC并发处理能力。
  • 缓存与临时：io.file.buffer.size 建议 64KB~128KB；hadoop.tmp.dir 指定多磁盘目录以分摊I/O。
• YARN
  • 节点资源：设置 yarn.nodemanager.resource.memory-mb 为节点可用物理内存（单位MB），并确保为系统与其他守护进程预留内存。
  • 容器上限：yarn.scheduler.maximum-allocation-mb 不应高于节点可分配内存；队列与池化策略用于多租户与优先级控制。
• MapReduce（或新一代执行引擎在YARN上）
  • 容器与CPU：按任务类型设置 mapreduce.{map|reduce}.memory.mb 与 mapreduce.{map|reduce}.cpu.vcores，避免超配导致抢占与OOM。
  • Shuffle与排序：提升 mapreduce.reduce.shuffle.parallelcopies、mapreduce.reduce.shuffle.input.buffer.percent、mapreduce.task.io.sort.mb，减少溢写与网络瓶颈。
  • JVM与GC：为守护进程与任务设置合适的堆与GC策略，例如 HADOOP_HEAPSIZE=8g，JVM选项 -XX:+UseG1GC -XX:MaxGCPauseMillis=200。

三 数据处理与作业级优化

• 压缩策略
  • 开启中间结果压缩 mapreduce.map.output.compress=true，选用 Snappy/LZO 等低开销编解码器，显著降低网络与磁盘I/O。
• 数据本地性与数据倾斜
  • 通过合理分片与调度提升 数据本地性；对倾斜Key进行预处理或自定义分区，避免少数Reducer过载。
• 小文件治理
  • 合并小文件，采用 SequenceFile/Parquet/ORC 等列式或容器格式，减少NameNode内存与任务调度开销。
• Combiner与Map端聚合
  • 在业务允许的前提下使用 Combiner，减少跨网络传输的数据量。
• JVM重用
  • 启用 mapred.job.reuse.jvm.num.tasks（如设置为 -1 或较大值），降低Task启动/销毁成本。
• 任务数量与粒度
  • 通过 dfs.blocksize 与输入分片控制 Map 数量；Reduce 数量可按集群槽位与数据量经验设置（如 0.95×reduce slot 或 1.75×reduce slot 的两种策略）。

四 监控与容量规划

• 监控与告警
  • 建立覆盖 HDFS、YARN、MR/作业、操作系统 的指标与日志体系，使用 Ganglia/Prometheus/Grafana 进行可视化与阈值告警，结合历史趋势做滚动调优。
• 容量与布局
  • 按数据增长规划 NameNode/JournalNode 内存与磁盘，DataNode多盘并行写入；队列与资源池按业务优先级与SLA划分，避免资源争用。
• 基准测试与回归
  • 通过 TeraSort 等标准基准测试验证调优成效，固化配置基线并建立变更评审与回归测试流程。

五 快速落地清单

• 系统层：limits.conf 提升到 nofile 65536/nproc 32768；内核网络与文件句柄按上文设置；挂载 noatime；必要时调大 readahead；关闭 THP；全集群 NTP/chrony 与 FQDN 解析验证。
• HDFS：按数据规模设置 dfs.blocksize=256MB/512MB；dfs.replication=2~3；dfs.namenode.handler.count≈20×logN；io.file.buffer.size=64KB~128KB。
• YARN：设置 yarn.nodemanager.resource.memory-mb 与 yarn.scheduler.maximum-allocation-mb；按业务划分队列与资源池。
• 作业层：开启 map output compress=Snappy；合理设置 Map/Reduce 内存与vcores；提升 shuffle 并行度与排序缓冲；启用 Combiner 与 JVM重用；治理小文件与数据倾斜。
• 验证：用 TeraSort 与业务作业做基准测试，观察 GC、Shuffle、I/O、网络、延迟 指标并迭代参数。