CentOS Hadoop性能优化技巧有哪些

CentOS 上 Hadoop 性能优化要点

一 操作系统与网络优化

• 提升文件句柄与进程限制：在 /etc/security/limits.conf 增加如 * soft nofile 65535、* hard nofile 65535，并在 /etc/pam.d/login 确保 PAM 生效；临时可用 ulimit -n 65535。
• 优化 TCP 与连接：在 /etc/sysctl.conf 设置 net.ipv4.tcp_tw_reuse=1、net.core.somaxconn=65535、net.ipv4.ip_local_port_range=1024 65535，执行 sysctl -p 使配置生效。
• 提升顺序读与元数据性能：增大 Linux 文件系统预读；挂载 HDFS 数据盘时使用 noatime,nodiratime 减少访问时间更新开销。
• 网络硬件：优先 10Gbps 及以上 以太网与低延迟交换网络，降低数据传输时延。
• I/O 调度器：为数据盘选择合适的 I/O 调度器（如 CFQ、Deadline、NOOP、BFQ），顺序大 I/O 倾向 Deadline/NOOP，交互/混合负载可评估 BFQ。

二 HDFS 关键参数与存储策略

• 块大小与副本数：根据作业类型调整 dfs.block.size（常见 128M 起步，大文件/长任务可适当增大），权衡 dfs.replication（默认 3，提高可靠性与读取并发但增加存储成本）。
• 并发与服务线程：提升 dfs.namenode.handler.count（如按 20 × logN 估算，N 为集群规模）与 dfs.datanode.handler.count，增强 NameNode 请求处理与 DataNode 传输并发。
• 短路读取：启用 dfs.client.read.shortcircuit=true，减少网络往返，显著提升读性能（需确保短路本地读安全配置）。
• 存储策略与缓存：启用 dfs.storage.policy.enabled=true，按 HOT/WARM/COLD 将数据分布到不同介质；对热点数据使用 HDFS 块缓存提升读命中。
• 小文件治理：合并/归档小文件，降低 NameNode 元数据压力。
• 回收站：配置 fs.trash.interval 与 fs.trash.checkpoint.interval，避免误删并减少恢复成本。

三 YARN 与 MapReduce 调优

• 资源与容器：合理设置 yarn.nodemanager.resource.memory-mb（节点可用总内存）、yarn.scheduler.maximum-allocation-mb（单容器上限），避免资源超卖或不足。
• 容器内存与 vCore：为 Map/Reduce 设置 mapreduce.map.memory.mb / mapreduce.reduce.memory.mb 与 mapreduce.map.cpu.vcores / mapreduce.reduce.cpu.vcores，并与 JVM 堆 -Xmx 协调（堆不应超出容器内存）。
• Shuffle 与合并：提升 mapreduce.reduce.shuffle.parallelcopies（默认 5，可适当增大）、mapreduce.reduce.shuffle.merge.percent（默认 0.66）、mapreduce.reduce.shuffle.input.buffer.percent（默认 0.7），加速 Reduce 拉取与合并。
• JVM 重用：设置 mapred.job.reuse.jvm.num.tasks（如 -1 表示无限制），减少 JVM 启停开销。
• 压缩：在 Map 输出与作业输出启用压缩（如 Snappy/LZO），减少磁盘与网络 I/O（权衡 CPU 开销）。

四 硬件与数据布局优化

• 存储与内存：为 NameNode 配置 SSD 加速元数据访问；为 DataNode 使用 SSD 缓存/热点数据 或混合存储；保证 充足内存 用于页缓存与任务执行。
• 网络带宽：优先 10Gbps+ 网络，缩短节点间数据拷贝与 Shuffle 时间。
• 数据本地性：通过增加 DataNode 数量、均衡数据分布，提升 数据本地化 比例，降低跨节点网络流量。
• 多盘与路径：为 dfs.datanode.data.dir 配置多块磁盘（逗号分隔）以并行 I/O；为 dfs.name.dir 使用独立/更快磁盘承载元数据。

五 监控 压测与变更流程

• 基准与压测：使用 TestDFSIO 进行 HDFS 读写基准测试，结合业务样本作业验证调优收益。
• 监控指标：持续关注 HDFS 延迟/吞吐量、DataNode 磁盘/网络利用率、NameNode 堆与 GC、YARN 队列与容器使用率 等关键指标。
• 可视化与告警：利用 HDFS Web UI、YARN ResourceManager UI 观察瓶颈与异常，建立阈值告警与容量预警。
• 变更与回滚：遵循“小步变更—压测验证—灰度发布—回滚预案”，每次只调整少量参数并记录基线，便于对比与回退。