Ubuntu Hadoop性能调优有哪些方法

Ubuntu Hadoop 性能调优方法

一 硬件与操作系统层优化

• 存储与网络：优先使用 SSD 作为 HDFS 数据盘，并将 dfs.datanode.data.dir 指向 SSD；为集群配置专用网络，避免与其他业务争用带宽与时延。磁盘调度策略建议：SSD 使用 noop，机械盘使用 deadline。必要时开启 Jumbo 帧（MTU=9000） 降低网络包头开销。
• 系统内核与资源：适度降低 vm.swappiness（如 10），减少换页；提升 fs.file-max（如 655360） 与 net.core.somaxconn（如 1024） 等内核参数以支撑高并发；禁用不必要的系统服务释放资源。
• BIOS/固件与 NUMA：在 BIOS 启用 CPU Performance 策略、升级网卡驱动；在 YARN 3.1.0+ 启用 NUMA 感知（yarn.nodemanager.numa-awareness.enabled=true） 减少跨 NUMA 访问开销。

二 HDFS 层优化

• 块大小与副本：根据数据规模与访问模式调整 dfs.blocksize（如 256MB 或更高），降低 NameNode 元数据压力与小文件开销；在可靠性与带宽之间权衡 dfs.replication（常用 3）。
• 并发与服务线程：提升 dfs.namenode.handler.count 与 dfs.datanode.handler.count（如 20–40）以增强 NameNode/DataNode 请求处理能力。
• 数据布局与本地性：确保计算尽量在数据所在节点执行（数据本地化）；对冷数据使用 HAR 归档 优化扫描与存储。
• 压缩：对中间数据与输出启用 Snappy/LZO 压缩，降低 I/O 与网络 传输量。

三 YARN 与 MapReduce 层优化

• 资源边界与调度：设置 yarn.nodemanager.resource.memory-mb（通常预留约**75%**物理内存给 YARN）、yarn.nodemanager.resource.cpu-vcores；合理设置 yarn.scheduler.minimum-allocation-mb / maximum-allocation-mb；调度器可选 Capacity/Fair，并使用 DominantResourceCalculator 更精确匹配内存/CPU。
• 容器与并行度：按节点资源计算容器数量（NUM_container ≈ 可用内存/容器内存，NUM_container(vcore) ≈ 可用 vcore/容器 vcore）；为 Map/Reduce 设置 mapreduce.{map|reduce}.memory.mb 与 mapreduce.{map|reduce}.cpu.vcores；将 mapreduce.{map|reduce}.java.opts 设为容器内存的约 0.75–0.8 并优先 G1GC 减少 GC 抖动。
• Shuffle 与网络：提升 mapreduce.reduce.shuffle.parallelcopies、merge.percent、input.buffer.percent 等参数以加速 Reduce 拉取与合并；启用 mapreduce.map.output.compress 与 mapreduce.output.fileoutputformat.compress（常用 Snappy/LZO）；通过 mapreduce.job.locality.wait 控制任务等待本地数据的时长；设置 mapred.job.reuse.jvm.num.tasks（如 -1） 减少 JVM 启停开销。

四 数据策略与作业设计

• 高效数据格式：使用列式存储 ORC/Parquet，结合谓词下推、列裁剪 提升读取性能。
• 压缩策略：对 Map 输出 与 最终输出 启用 Snappy/LZO，在压缩率与 CPU 开销间平衡。
• 分区与倾斜治理：按 时间/地区 等维度进行合理分区，避免数据倾斜；对大表进行分桶与采样优化 Join。
• 小文件治理：合并小文件、使用 HAR 归档，降低 NameNode 元数据压力与扫描成本。

五 监控、基准测试与快速参考

• 监控与日志：使用 ResourceManager Web UI（8088）、HDFS NameNode Web UI（9870）、JobHistory Server 与 JMX 持续观测；结合 Prometheus+Grafana 或 Ambari/Cloudera Manager 做容量与瓶颈预警；通过 yarn logs -applicationId 定位慢任务与异常。
• 基准测试：使用 TestDFSIO 进行 HDFS 读写 基准测试，验证 I/O 与网络优化成效；根据结果回调 dfs.blocksize、副本数、Shuffle 与 容器内存 等参数。
• 快速参考配置示例（按节点内存 16GB 举例）：
  • yarn-site.xml：
    • yarn.nodemanager.resource.memory-mb=16384
    • yarn.nodemanager.resource.cpu-vcores=16
    • yarn.scheduler.minimum-allocation-mb=2048
    • yarn.scheduler.maximum-allocation-mb=8192
    • yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator
  • hdfs-site.xml：
    • dfs.blocksize=268435456（256MB）
    • dfs.replication=3
    • dfs.namenode.handler.count=40
    • dfs.datanode.handler.count=20
  • mapred-site.xml：
    • mapreduce.map.memory.mb=4096
    • mapreduce.reduce.memory.mb=8192
    • mapreduce.map.java.opts=-Xmx3072m -XX:+UseG1GC
    • mapreduce.reduce.java.opts=-Xmx6144m -XX:+UseG1GC
    • mapreduce.map.output.compress=true
    • mapreduce.output.fileoutputformat.compress=true
      注：以上为示例值，需结合业务与硬件实际压测微调。