Hadoop在Linux里怎样优化性能

Linux上优化Hadoop性能的系统与实践清单

一 操作系统层优化

• 资源与连接上限
  • 提升进程可打开文件数与用户进程数，编辑**/etc/security/limits.conf与/etc/security/limits.d/90-nproc.conf**，设置如：nofile 65535、nproc 65535；确保PAM加载limits模块（/etc/pam.d/login 包含 session required pam_limits.so）。同时调高内核net.core.somaxconn（如32768）以支撑高并发连接；按需扩展本地端口范围（如net.ipv4.ip_local_port_range=1024 65535）。
• 内存与交换
  • 降低内核换页倾向，设置vm.swappiness=0（或接近0），尽量避免使用swap导致长停顿。
• 磁盘I/O
  • 为大文件顺序读设置合适的预读：blockdev --setra /dev/sdX；选择更合适的I/O调度器（如SSD倾向noop/deadline，HDD可用cfq）；挂载本地文件系统启用noatime以减少元数据写放大。
• 网络
  • 提升网卡发送队列长度：ifconfig eth0 txqueuelen 4096；结合业务与带宽调优TCP相关参数（如net.core.somaxconn、net.ipv4.tcp_max_syn_backlog）以缓解突发流量拥塞。

二 Hadoop与YARN关键参数

• HDFS
  • 块大小：根据作业吞吐与文件规模调整dfs.blocksize（如256MB或更高），减少NameNode元数据压力并提升顺序扫描性能。
  • 副本因子：在可靠性允许前提下，将dfs.replication调至2以节省写入放大与网络流量（默认3）。
• MapReduce与资源
  • 容器内存：设置mapreduce.map.memory.mb / mapreduce.reduce.memory.mb（如4096 / 8192 MB），并配套mapreduce.map.java.opts / mapreduce.reduce.java.opts；合理分配mapreduce.map.cpu.vcores / mapreduce.reduce.cpu.vcores。
  • 本地性与调度：通过mapreduce.job.locality.wait=300000（单位毫秒）给足数据本地化机会，减少跨节点网络传输。
• YARN
  • 使用Capacity/Fair Scheduler进行队列与资源池划分，提升多租户与整体资源利用率。

三 数据读写与存储策略

• 压缩
  • 在MapReduce输出启用压缩以节省存储与网络：mapreduce.output.fileoutputformat.compress=true，并选用SnappyCodec（如：org.apache.hadoop.io.compress.SnappyCodec）。
• 小文件治理
  • 避免海量小文件，采用SequenceFile / Parquet等列式或容器格式进行合并，降低NameNode压力并提升I/O效率。
• 数据布局与均衡
  • 保持HDFS数据均衡分布，并通过合理分区策略缓解数据倾斜，避免个别节点成为热点。

四 监控与持续调优

• 指标与可视化
  • 部署Ganglia / Prometheus + Grafana等监控体系，实时观测CPU、内存、磁盘IOPS/吞吐、网络带宽、RPC延迟、容器失败率、GC时间等关键指标。
• 方法论
  • 以监控数据驱动参数迭代：先基线测试，再按瓶颈（I/O、网络、内存、GC、调度）逐项微调，周期性复盘并固化到配置基线。

五 快速检查清单与示例配置

• 系统层
  • limits：soft/hard nofile 65535、nproc 65535；sysctl：net.core.somaxconn=32768、net.ipv4.ip_local_port_range=1024 65535；vm.swappiness=0；磁盘：blockdev --setra 16384 /dev/sdX；挂载：noatime；网卡：txqueuelen 4096。
• Hadoop示例
  • HDFS：dfs.blocksize=268435456（256MB）、dfs.replication=2；
  • MapReduce：mapreduce.map.memory.mb=4096、mapreduce.reduce.memory.mb=8192、mapreduce.job.locality.wait=300000；
  • 输出压缩：mapreduce.output.fileoutputformat.compress=true、mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec。
• 提示
  • 以上为通用起点，需结合硬件规格、数据特征（大小/格式/访问模式）、作业并行度与SLA做压测验证后再上线。