CentOS 上 HDFS 与 MapReduce 任务优化指南
一 基础环境与 HDFS 层优化
- 硬件与文件系统
- 为 NameNode 选用 RAID 1+0，为 DataNode 采用 JBOD 多盘并行；挂载选项建议使用 noatime、nodiratime 降低元数据开销；顺序读场景可适当增大文件系统预读缓存。
- 关键 HDFS 参数
- 提高 dfs.namenode.handler.count（如按公式：20 × log2(集群规模)）以提升 NameNode RPC 并发处理能力。
- 适度增大 dfs.blocksize（如 128 MB/256 MB），减少小分片导致的 Map 任务过多与调度开销；在带宽充足、大文件场景收益更明显。
- 合理设置 dfs.replication（默认 3），权衡容错与磁盘占用；多磁盘节点将 dfs.data.dir 分布到多个独立磁盘以提升吞吐。
- 提升 dfs.datanode.handler.count（如 8 或更高）增强 DataNode 并发服务线程能力。
二 MapReduce 端关键参数与调优方向
- Map 端
- 减少溢写（Spill）：适度增大 io.sort.mb（如 200 MB），降低 Spill 次数；io.sort.spill.percent 通常保持 0.80 即可。
- 减少合并（Merge）：增大 io.sort.factor（如 100），减少归并轮次与磁盘访问。
- 尽早聚合：在不影响结果的前提下使用 Combiner，降低 Map→Reduce 的传输量。
- Shuffle 与 Reduce 端
- 提升拷贝并发：增大 mapred.reduce.parallel.copies（如 20–50）加速 Map 输出拉取；注意并发过高会增加 CPU/网络 压力。
- 增大 Shuffle 缓冲：提高 mapred.job.shuffle.input.buffer.percent，减少磁盘 I/O；需结合容器内存谨慎设置。
- 尽早启动 Reduce：调小 mapreduce.reduce.slowstart.completedmaps（如 0.05–0.20），缩短 Reduce 等待时间。
- 压缩中间与结果：开启 mapred.compress.map.output/mapred.output.compress，选用 LZO/Snappy 等算法（如 LZO），在 CPU 允许时显著降低网络与磁盘 I/O。
三 数据布局与输入优化
- 小文件治理
- 合并小文件，或使用 CombineTextInputFormat 将多个小文件逻辑合并为一个分片，显著降低 Map 任务数量与任务调度开销。
- 并行度与分片控制
- Map 数量 受输入分片影响，可通过调整 dfs.blocksize、输入压缩、或自定义 InputFormat.getSplits 来间接控制分片大小与数量。
- Reduce 数量 需结合数据量与资源：过少并发不足，过多导致调度与上下文切换开销上升；通常依据数据规模与集群容量做压测寻优。
- 数据本地化与机架感知
- 启用 机架感知（Rack Awareness），优化跨机架网络流量与容错；尽量让计算靠近数据，减少跨节点网络传输。
四 快速调优清单与示例参数
- 建议按“先易后难、小步快跑”的顺序验证：数据布局 → 压缩 → 并发度 → 内存与 Shuffle → 细粒度参数。
- 示例参数（需结合节点内存与业务实测微调）：
- HDFS
- dfs.blocksize=268435456（256 MB）
- dfs.namenode.handler.count=20 × log2(N)（N 为集群规模）
- dfs.datanode.handler.count=8
- dfs.data.dir=/data1/hdfs,/data2/hdfs,/data3/hdfs
- MapReduce
- io.sort.mb=200
- io.sort.factor=100
- mapred.compress.map.output=true；mapred.map.output.compression.codec=com.hadoop.compression.lzo.LzoCodec
- mapred.output.compress=true；mapred.output.compression.codec=com.hadoop.compression.lzo.LzoCodec；mapred.output.compression.type=BLOCK
- mapred.reduce.parallel.copies=30
- mapreduce.reduce.slowstart.completedmaps=0.10
- 监控与验证
- 通过 NameNode Web UI（如 9870 端口） 与 JobHistory/ResourceManager UI 观察 HDFS 吞吐、Map/Reduce 时长、Spill/Merge 次数、Shuffle 失败与重试、数据本地化率 等指标，定位瓶颈后再迭代参数。