CentOS 上提升 HDFS 读写性能的系统化做法
一 硬件与操作系统基础
- 存储与内存：为 NameNode 配置 SSD 以加速元数据读写；为 DataNode 使用 SSD 做缓存或存放热点数据；增加内存以提升数据与元数据缓存命中率。
- 网络：优先 10Gbps 及以上 带宽，降低数据传输时延与拥塞。
- 文件系统与挂载：为数据盘挂载时启用 noatime、nodiratime，减少元数据写放大；根据设备特性选择合适的 I/O 调度器（如 SSD 用 noop）。
二 HDFS 关键参数调优
- 块大小：按负载调整 dfs.block.size（常见值 128MB–256MB）；大块利于顺序读、减少任务数，但会弱化数据本地性与小文件聚合效率。
- 副本数：合理设置 dfs.replication（默认 3）；提高副本可提升读吞吐与容错，但增加存储和网络开销。
- 并发处理：提升 dfs.namenode.handler.count（建议 20+）与 dfs.datanode.handler.count（建议 30+），增强 NameNode 请求调度与 DataNode 数据传输并发。
- 短路读：启用 dfs.client.read.shortcircuit=true，让客户端直接读本地磁盘，显著降低网络往返。
- 目录与多盘：为 dfs.namenode.name.dir 与 dfs.datanode.data.dir 配置多目录（多盘/多 SSD），分散 I/O 压力并提升可靠性。
- 压缩：在 MapReduce/作业侧启用 Snappy/LZO/Bzip2 等压缩（如设置 mapreduce.map.output.compress），减少网络传输与落盘体积（权衡 CPU 开销）。
三 数据布局与访问模式优化
- 避免小文件：小文件会压垮 NameNode 内存与 RPC 处理；通过合并、归档（如 SequenceFile/Parquet）降低文件数量。
- 提升数据本地性：通过增加 DataNode 数量、合理调度作业，使计算尽量在数据所在节点执行，减少跨节点网络传输。
- 缓存热点数据：利用 HDFS 块缓存（如堆外缓存/缓存指令）将热点数据常驻内存，加速读路径。
- 顺序与合并 I/O：尽量使用 顺序读写 与 大块顺序扫描；在写入侧进行 批量提交/合并，减少 NameNode 与 DataNode 的元数据与网络往返。
四 CentOS 内核与系统参数
- 文件句柄与进程限制：在 /etc/security/limits.conf 与 /etc/pam.d/login 中提升 nofile（如 65535），避免 “Too many open files”。
- TCP 与连接：在 /etc/sysctl.conf 中优化如 net.ipv4.tcp_tw_reuse=1、net.core.somaxconn=65535、net.ipv4.ip_local_port_range=1024 65535，并
sysctl -p 生效，提升高并发连接能力。
- 预读与挂载：增大 Linux 文件系统预读 以优化顺序读；挂载使用 noatime、nodiratime 降低不必要元数据更新。
五 监控与压测闭环
- 基准测试：使用 TestDFSIO 进行读写基准测试，量化 吞吐量、IOPS、延迟 等指标，定位瓶颈（磁盘/网络/CPU/参数）。
- 持续监控：定期观察 延迟、吞吐、CPU/内存/磁盘 I/O、网络 等关键指标，结合作业特征做迭代调优。
- 变更验证：任何参数或拓扑变更先在测试环境验证，再灰度上线，确保稳定性与收益。