Linux系统里Hadoop性能如何优化

Linux上Hadoop性能优化实战指南

一 硬件与操作系统层优化

• 硬件选型：优先为NameNode/DataNode配备充足内存、多核CPU与SSD/NVMe，并保障节点间≥千兆网络（高并发/大数据量建议万兆或InfiniBand）。
• 文件句柄与进程数：提升系统上限，编辑**/etc/security/limits.conf与/etc/security/limits.d/90-nproc.conf**，如：
  • • soft nofile 65535；* hard nofile 65535
  • • soft nproc 65535；执行ulimit -n 65535即时生效
• TCP网络栈：在**/etc/sysctl.conf**中调优并发与队列
  • net.core.somaxconn=32768；net.ipv4.tcp_max_syn_backlog=2048；net.core.netdev_max_backlog=4096；执行sysctl -p
• 虚拟内存：将vm.swappiness=0，尽量避免Swap导致的抖动
• I/O调度器：数据盘优先Deadline/NOOP（如：echo deadline > /sys/block/sda/queue/scheduler）
• 存储策略：结合业务冷热与介质，利用HDFS异构存储（RAM_DISK/SSD/DISK/ARCHIVE）与存储策略（HOT/WARM/COLD/ALL_SSD/ONE_SSD/LAZY_PERSIST）提升性价比与访问性能。

二 HDFS与YARN资源配置

• HDFS关键项
  • 块大小：按数据规模调整dfs.blocksize（如256MB/512MB），大文件可减少NameNode元数据与寻址开销
  • 副本因子：默认3；对临时/可重算数据可降至2以提吞吐（权衡可靠性）
  • 本地性：适度增大mapreduce.job.locality.wait（如30s），提升“计算靠近数据”的命中率
• YARN容器与调度
  • 节点资源：设置yarn.nodemanager.resource.memory-mb与yarn.nodemanager.resource.cpu-vcores
  • 容器边界：配置yarn.scheduler.minimum-allocation-mb、yarn.scheduler.maximum-allocation-mb与对应vcore边界
  • 调度器：多租户推荐Capacity Scheduler或Fair Scheduler，按队列/用户隔离与保障SLA
• MapReduce内存与JVM
  • 容器内存：mapreduce.{map|reduce}.memory.mb与堆大小mapreduce.{map|reduce}.java.opts（堆通常设为容器内存的约80%）
  • AM资源：yarn.app.mapreduce.am.resource.mb与yarn.app.mapreduce.am.command-opts
• 资源配置计算法（示例思路）
  • containers = min(2×CORES, 1.8×DISKS, 可用RAM / 最小容器内存)
  • RAM-per-container = max(最小容器内存, 可用RAM / containers)
  • 据此反推yarn.nodemanager.resource.memory-mb与容器上下限，避免过小（调度开销大）或过大（碎片/饥饿）

三 作业与I/O优化

• 压缩策略：开启中间与输出压缩，优先Snappy（速度快、开销低）
  • mapreduce.map.output.compress=true；mapreduce.map.output.compress.codec=SnappyCodec
  • mapreduce.output.fileoutputformat.compress=true；mapreduce.output.fileoutputformat.compress.codec=SnappyCodec
• 小文件治理：合并/归档（如HAR、SequenceFile），或用Spark coalesce/repartition降低分区数，减轻NameNode元数据压力
• 数据倾斜与分区：合理分区（时间/地域等），必要时自定义Partitioner、预聚合/过滤热点key，均衡各Task负载
• Shuffle与排序：适度增大mapreduce.task.io.sort.mb、mapreduce.task.io.sort.factor，减少溢写与归并次数
• 数据格式：批处理/分析场景优先列式格式（如Parquet/ORC），提升扫描与压缩效率
• 计算框架选择：对迭代/低延迟场景，考虑Tez/Spark替代传统MapReduce以获得更好的执行引擎效率

四 监控、调度与稳定性

• 监控与日志：启用日志聚合（yarn.log-aggregation-enable=true），通过ResourceManager 8088、NameNode 9870与JMX/Prometheus+Grafana持续观测CPU/内存/网络/HDFS块与YARN资源；定期分析作业与组件日志定位瓶颈
• 资源隔离与队列：使用Capacity/Fair Scheduler配置队列容量、最小用户配额与优先级，保障关键作业资源；必要时启用动态资源分配提升利用率
• 高可用：生产部署建议启用**HDFS HA（QJM + ZooKeeper）**与自动故障转移，减少单点故障对吞吐与稳定性的影响

五 快速检查清单与示例参数

• 快速检查清单
  • OS：nofile≥65535、nproc≥65535；vm.swappiness=0；I/O调度器=Deadline/NOOP；网络与磁盘健康
  • HDFS：dfs.blocksize（大文件≥256MB）；dfs.replication（默认3，临时数据可2）；本地性等待适度增大
  • YARN：容器内存与vcore边界合理；队列/调度器配置符合多租户SLA；AM与Map/Reduce堆配置匹配容器
  • 作业：开启Snappy压缩；治理小文件；分区与倾斜处理；Shuffle/排序参数按数据量调优
• 示例参数（节点示例：12核/48GB/12盘，保留OS/HBase各6GB，最小容器2GB）
  • containers = min(2×12, 1.8×12, 36GB/2GB) = 24
  • RAM-per-container = max(2GB, 36GB/24) = 2GB
  • yarn.nodemanager.resource.memory-mb = 48GB；yarn.scheduler.minimum-allocation-mb = 2GB
  • mapreduce.{map|reduce}.memory.mb ≈ 2–4GB；mapreduce.{map|reduce}.java.opts ≈ 堆1.6–3.2GB（约容器内存的80%）
  • 作业侧：开启Snappy；合理设置mapreduce.job.reduces与分区策略，避免数据倾斜