CentOS如何优化Hadoop性能

CentOS 上优化 Hadoop 性能的系统化清单

一 操作系统层优化

• 文件句柄与进程限制
  • 提升系统级上限：在 /etc/sysctl.conf 设置 fs.file-max=800000；在 /etc/security/limits.conf 为 hdfs、yarn、mapred 等用户设置 nofile=65535 或更高，并在 /etc/pam.d/login 启用 pam_limits.so 使登录会话生效；验证用 ulimit -n 与 cat /proc/sys/fs/file-max。Hadoop 大量短连接与数据文件会消耗句柄。
• 虚拟内存与交换
  • 降低换页倾向：设置 vm.swappiness=0（减少磁盘换页，降低 I/O 抖动）。
• 网络栈优化
  • 加速连接回收与重用：在 /etc/sysctl.conf 设置 net.ipv4.tcp_tw_reuse=1、net.ipv4.tcp_tw_recycle=1（按需）、net.ipv4.tcp_max_syn_backlog=100000、net.core.somaxconn=32768、net.ipv4.ip_local_port_range=1025 65535、net.ipv4.tcp_fin_timeout=30、net.ipv4.tcp_keepalive_time=1200；执行 sysctl -p 生效。
• 磁盘与文件系统
  • 使用 EXT4/XFS 并挂载选项 noatime,nodiratime 减少元数据写入；顺序读场景可适当增大 readahead（blockdev --setra）。
• 透明大页（THP）
  • 关闭 THP 的碎片整理以避免 CPU 抖动：echo never > /sys/kernel/mm/redhat_transparent_hugepages/defrag；检查状态：cat /sys/kernel/mm/redhat_transparent_hugepages/defrag。

二 HDFS 层优化

• 块大小与副本因子
  • 依据作业类型调整 dfs.blocksize（如 128MB–256MB）；吞吐型作业可用更大块，I/O 随机或本地性优先时可适度减小。副本数 dfs.replication 在可靠性优先时设为 3，存储紧张或写入为主场景可评估 2；对冷数据启用 Erasure Coding 降低存储占用。
• 短路读取与本地性
  • 启用短路读：dfs.client.read.shortcircuit=true，并配置短路所需 Unix 域套接字 与权限，显著降低网络往返。通过增加 DataNode 数量与合理机架感知提升数据本地性。
• 并发与线程
  • 提升 dfs.namenode.handler.count 与 dfs.datanode.handler.count 以增强 NameNode 请求处理与 DataNode 传输并发。
• 小文件治理
  • 合并小文件、使用 HAR/SequenceFile/ORC/Parquet 等容器格式，减轻 NameNode 内存与元数据压力。
• 压缩
  • 在 MapReduce/Tez/Spark 中启用中间与输出压缩（如 Snappy/LZO），减少磁盘与网络 I/O。

三 YARN 与 MapReduce 层优化

• 资源与容器
  • 节点可用内存设置 yarn.nodemanager.resource.memory-mb（如节点 256GB 可预留系统/守护进程后设为约 204800MB）；单容器上限 yarn.scheduler.maximum-allocation-mb 建议不超过节点可用内存的 80%；最小分配 yarn.scheduler.minimum-allocation-mb 设为 1024MB 或更高以减少碎片。
• 调度器与队列
  • 多租户推荐 Capacity Scheduler 或 Fair Scheduler；按业务划分队列并配置容量/权重/最小资源，必要时启用 抢占 与 Node Labels 做关键任务隔离。
• CPU 与容器密度
  • 正确声明 yarn.nodemanager.resource.cpu-vcores（避免将超线程误当物理核心）；结合 Cgroups 限制容器 CPU 使用（如 yarn.nodemanager.resource.percentage-physical-cpu-limit=80），控制单节点容器密度，避免抖动与争用。
• 动态资源与 Shuffle
  • 启用 动态资源分配（如 Capacity Scheduler 的抢占与利用率阈值），并开启 Map 端输出压缩 降低 Shuffle 网络与磁盘压力。

四 硬件与架构优化

• 存储与网络
  • 使用 SSD/NVMe 提升 HDFS I/O；部署 10Gbps+ 网络与合理的机架拓扑，减少跨机架流量。
• 数据布局与副本放置
  • 结合 机架感知 与 副本放置策略 提升本地性与容错；对访问热区数据做再平衡与均衡策略。
• 扩展策略
  • 读写吞吐或元数据压力增长时优先 横向扩容（增加 DataNode/NodeManager），必要时引入 NameNode HA 与 JournalNode/ZKFC 保障稳定性。

五 监控 压测与变更流程

• 基准测试
  • 使用 TestDFSIO 评估 HDFS 吞吐：写入示例
    • hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 1GB
    • 读取示例：将 -write 换为 -read；根据结果回看 I/O、网络、CPU、容器排队 等指标再调参。
• 监控与告警
  • 构建 Prometheus + Grafana 体系，关注 NodeManager Available Memory/Allocated vCores、ContainersAllocated、MemoryUsed、队列利用率 等；当节点内存分配超过 95% 或集群利用率长期高于 85% 触发扩容或重配。
• 安全与变更
  • 启用 Kerberos 与审计；变更 sysctl/limits/hdfs/yarn 参数遵循灰度与回滚；变更后复测基准并保留变更记录。