Linux上提升Hadoop处理速度的系统化优化指南
一 硬件与操作系统先行
- 硬件侧优先：增加节点内存、使用SSD、选择多核CPU、保证高带宽低时延网络（如10Gbps），可显著降低I/O与网络瓶颈。对HDFS与YARN同时友好。
- Linux内核与网络：提升文件描述符上限（如ulimit -n 65536）；优化TCP栈（如net.core.somaxconn、net.ipv4.tcp_max_syn_backlog、net.ipv4.ip_local_port_range）；必要时调大TCP缓冲（如net.core.rmem_max/wmem_max、tcp_rmem/wmem）；存储挂载建议使用noatime减少元数据开销。
- 磁盘与布局：多磁盘分散I/O，HDFS数据盘与系统盘分离；必要时使用XFS等更适合大并发的文件系统；合理规划机架感知与交换机层级，减少跨机架流量。
二 HDFS与数据布局优化
- 块大小与分片：将dfs.blocksize由默认128MB提升到256MB/512MB（视作业访问模式与集群规模而定），减少NameNode元数据压力与任务调度开销；结合数据热度与文件大小，必要时使用CombineFileInputFormat合并小文件分片，避免“分片过细”。
- 副本因子：默认dfs.replication=3；在可靠性允许前提下，可对温/冷数据适度下调副本数以节省写入与网络放大，对热数据保持或上调以保障吞吐与容灾。
- 数据均衡与本地性：定期运行hdfs balancer保持数据均衡；提高数据本地化比例（如适度增大mapreduce.job.locality.wait），减少跨节点网络传输；启用机架感知优化跨机架流量。
三 YARN与MapReduce关键参数
- 资源总量与容器：按节点物理资源设置yarn.nodemanager.resource.memory-mb与yarn.nodemanager.resource.cpu-vcores；合理设定yarn.scheduler.minimum-allocation-mb与yarn.scheduler.maximum-allocation-mb，避免容器过大/过小导致碎片或无法调度。
- 容器内存与JVM：Map/Reduce容器内存通过mapreduce.{map|reduce}.memory.mb设定，JVM堆通过mapreduce.{map|reduce}.java.opts设定（通常堆≈容器内存的0.75–0.8）；NameNode/DataNode/ResourceManager/NodeManager的堆大小按服务角色单独配置（如常见的NameNode 16G、DataNode 2–4G、RM 4G、NM 2G）。
- 并行度与Reduce数量：Map数由输入分片决定，控制每个Map处理的数据量，建议单个Task执行时间≥1分钟以降低调度与启动开销；Reduce数可按“每Reducer处理约1–2GB”的经验估算，或按“Map输出文件数的2–3倍”起步，并结合数据倾斜与集群规模动态微调。
- Shuffle与中间结果：开启Map端中间结果压缩（如mapreduce.map.output.compress=true，codec=Snappy/LZO）；提升Shuffle并行度（如mapreduce.reduce.shuffle.parallelcopies设为节点CPU核数的1.5倍左右）；增大mapreduce.task.io.sort.mb（如512MB）与mapreduce.task.io.sort.factor（如64）以减少溢写与合并趟数；在语义允许时使用Combiner降低网络传输。
四 数据格式与倾斜治理
- 文件格式与压缩：优先使用列式格式（如Parquet/ORC）与高效压缩（Snappy/LZO），减少I/O与存储放大；避免产生大量小文件，可通过合并、归档或SequenceFile/Parquet整合。
- 数据倾斜：对热点Key进行预处理与二次抽样，采用TotalOrderPartitioner或自定义分区器均衡Reduce负载；在Map端合理使用Combiner做本地聚合，降低Shuffle数据量。
- 对象与类型：在Map/Reduce中重用Writable对象、选择合适的数据类型（如IntWritable/LongWritable而非反复字符串转换），减少序列化/反序列化与GC压力。
五 监控、基准测试与持续优化
- 监控与日志：利用ResourceManager/NodeManager UI、Ganglia/Prometheus/Grafana与ELK集中观测队列、容器、I/O、GC、网络与热点；定期分析NameNode/DataNode/YARN日志定位瓶颈。
- 基准与迭代：以代表性作业建立基准测试，每次只变更少量参数并量化对比（作业耗时、吞吐、Shuffle/GC占比、数据本地化率）；结合动态资源分配与容量队列隔离关键作业，避免资源争用。
- 快速检查清单（示例值可按需调整）：
- HDFS：dfs.blocksize=256MB/512MB；dfs.replication冷热分层；定期balancer；noatime挂载。
- YARN：yarn.nodemanager.resource.memory-mb、yarn.scheduler.maximum-allocation-mb匹配节点；关键服务堆（如NN 16G）。
- MapReduce：Map/Reduce容器内存与JVM堆匹配；mapreduce.map.output.compress=true（Snappy）；parallelcopies≈CPU核数1.5x；sort.mb=512MB、sort.factor=64；Combiner就位；Reduce数≈Map输出的2–3倍或每Reducer≈1–2GB。