CentOS Hadoop性能如何优化

CentOS 上 Hadoop 性能优化实战指南

一 操作系统与内核优化

• 文件描述符与进程限制
  • 提升单进程与系统级文件句柄上限，编辑 /etc/security/limits.conf 与 /etc/pam.d/login，典型值：nofile 65535；系统级可设 fs.file-max=800000，并重启会话或系统生效。
• TCP 网络栈
  • 加速连接回收与高并发连接处理，编辑 /etc/sysctl.conf：
    • net.ipv4.tcp_tw_reuse = 1
    • net.core.somaxconn = 65535
    • net.ipv4.ip_local_port_range = 1024 65535
    • net.ipv4.tcp_rmem/tcp_wmem 合理放大（如 8K/256K/4M 等）
    • 执行 sysctl -p 使配置生效。
• 虚拟内存与交换
  • 降低换页倾向，设置 vm.swappiness=0（仍保留换页机制但尽量延迟），减少磁盘抖动对任务的影响。
• 透明大页（THP）
  • 对 Hadoop 负载建议关闭 THP 的碎片整理子功能以避免 CPU 抖动：
    • 查看：cat /sys/kernel/mm/redhat_transparent_hugepages/defrag
    • 禁用：echo never > /sys/kernel/mm/redhat_transparent_hugepages/defrag
• 文件系统与挂载
  • 使用 EXT4（多块延迟分配等特性优于 EXT3），挂载选项建议 noatime,nodiratime；必要时增大预读（readahead）以优化顺序读。

二 HDFS 关键配置

• 块大小与副本因子
  • 结合作业类型调整 dfs.block.size（如 128M 起步），大块利于顺序读但会增加调度与本地化难度；副本数 dfs.replication 在可靠性优先时设为 3，写入密集且成本敏感时可评估 2。
• 并发与服务线程
  • 提升 dfs.namenode.handler.count 与 dfs.datanode.handler.count 以增强 NameNode 请求处理与 DataNode 传输并发（如 20/30 起步，按负载再调）。
• 短路读取与本地性
  • 启用 dfs.client.read.shortcircuit=true 减少网络往返；通过增加 DataNode 数量与合理机架规划提升数据本地化比例。
• 存储策略与纠删码
  • 启用 dfs.storage.policy.enabled 并按热度使用 HOT/WARM/COLD；对冷数据可启用 Erasure Coding 降低存储开销（如：hdfs ec -setPolicy）。
• 小文件治理与压缩
  • 合并小文件减轻 NameNode 元数据压力；在 MapReduce 侧启用 mapreduce.map.output.compress=true 并使用 Snappy/LZO/Bzip2 降低 I/O 与网络传输。

三 YARN 与 MapReduce 资源调度

• 调度器选择与队列
  • 多租户推荐 Capacity Scheduler 或 Fair Scheduler；示例（Capacity）：设置队列 prod/dev 的容量占比（如 70/30），在 capacity-scheduler.xml 中定义队列与资源上限/下限。
• 节点资源与容器配置
  • 依据节点内存设置 yarn.nodemanager.resource.memory-mb（如 8192），并配置 yarn.scheduler.minimum-allocation-mb（如 1024）与 yarn.scheduler.maximum-allocation-mb（可设为节点内存的约 80%），减少资源碎片与过度分配。
• 主导资源公平与抢占
  • 采用 DominantResourceCalculator 实现内存/CPU 多维均衡；在容量调度中可启用抢占并设定集群利用率阈值（如 0.8）以回收超配资源。
• CPU 与容器密度
  • 正确声明 yarn.nodemanager.resource.cpu-vcores（避免将超线程误当物理核心）；当单节点容器密度超过 15 个/节点 时应评估容器大小与并发策略。
• 监控与弹性
  • 结合 Prometheus+Grafana 监控 NodeManager Available Memory/Allocated vCores 等关键指标；当集群负载超过 85% 可触发扩容流程。

四 硬件与存储 I/O 优化

• 存储介质与网络
  • 采用 SSD/NVMe 提升 HDFS I/O；部署 10Gbps+ 网络以降低 Shuffle/复制的网络瓶颈。
• I/O 调度器
  • 为数据盘选择合适的 I/O 调度器（如 NOOP/Deadline/BFQ），减少调度开销、提升顺序/随机访问表现（结合业务与磁盘类型验证）。
• 数据布局与扩展
  • 通过横向扩展 DataNode 提升并行度与本地性；对访问冷热分层存储，热数据走高性能介质，冷数据启用 Erasure Coding 或降副本。

五 监控 压测与变更流程

• 基准测试与回归
  • 使用 TestDFSIO 评估 HDFS 吞吐与延迟（示例：hadoop jar …/hadoop-mapreduce-client-jobclient-*-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 1GB），用 TeraSort 验证作业端到端性能；每次变更后进行回归对比。
• 组件监控与可视化
  • 利用 HDFS Web UI、YARN ResourceManager UI 观察 延迟、吞吐量、CPU/内存 等指标；结合 Grafana+YARN Metrics 构建可视化面板并设置告警阈值（如节点内存分配率 >95% 预警）。
• 安全与高可用
  • 生产环境建议启用 Kerberos 认证与 HDFS HA（JournalNode/ZooKeeper），在保障安全的同时缩短故障恢复时间（目标 <30 秒）。
• 变更与回滚
  • 任何参数调整遵循“小步变更—灰度—压测—回滚预案”的闭环；变更前备份配置，变更后保留回滚路径与窗口期观察。