CentOS 上提升 HDFS 数据传输速度的系统化做法
一 硬件与网络基础
- 升级到10Gbps 及以上以太网与网卡，减少多副本与数据重平衡时的链路瓶颈。
- 优先使用SSD或混合存储，提升 DataNode 读写与 NameNode 元数据操作性能。
- 保障时间同步（NTP）、主机名/IP 正确解析、防火墙放行 HDFS 端口，避免网络抖动与连接异常。
- 在机架感知与调度策略中尽量提升数据本地性，减少跨机架/跨机房流量。
二 Linux 内核与系统参数
- 文件句柄与连接：提高单进程打开文件数，例如设置nofile 65535，并在相关 PAM 配置中启用 limits。
- TCP 栈：开启端口复用、扩大连接队列与本地端口范围，例如：
- net.ipv4.tcp_tw_reuse = 1
- net.core.somaxconn = 65535
- net.ipv4.ip_local_port_range = 1024 65535
- 磁盘 I/O：为 HDFS 挂载点设置noatime,nodiratime，并按设备调整read_ahead_kb以提升顺序读。
- 验证：修改后执行sysctl -p使配置生效。
三 HDFS 关键配置
- 块大小：按负载选择dfs.block.size，顺序大文件建议256M–512M，小随机读可64M–128M。
- 副本数：权衡可靠性与写入/复制开销，非关键数据可降至2，高可用场景可增至4。
- 短路读：开启dfs.client.read.shortcircuit=true，让客户端直读本地磁盘，显著降低网络延迟。
- 并发线程：提升dfs.namenode.handler.count（20–50）与dfs.datanode.handler.count（30–100），增强请求处理能力。
- 多磁盘：为dfs.datanode.data.dir配置多目录（多盘）以分散 I/O。
- 压缩：在传输与落盘启用Snappy（低 CPU 开销、压缩比适中），如 mapreduce.map.output.compress=true 与 SnappyCodec。
四 网络带宽与数据布局
- 带宽分配：
- 运行时调整均衡器带宽：hdfs dfsadmin -setBalancerBandwidth 104857600（即100MB/s）。
- 或在 hdfs-site.xml 中设置dfs.datanode.balance.bandwidthPerSec（默认1MB/s），按网络余量逐步调大。
- 并发与阈值：结合dfs.balancer.moverThreads、dfs.datanode.balance.max.concurrent.moves、dfs.balancer.max-size-to-move等参数，提高平衡效率并避免拥塞。
- 数据布局：优先保证本地性，减少跨节点传输；在跨机房/多 AZ 场景，合理分布副本以降低跨域流量。
五 数据治理与压测闭环
- 避免小文件：通过合并、HAR 或采集端合并，降低 NameNode 元数据压力与 RPC 放大。
- 预取与缓存：启用短路读与适当的预读策略，提升顺序扫描与热点数据访问。
- 扩容与联邦：横向扩展 DataNode 提升并行度；NameNode 瓶颈时考虑HDFS Federation。
- 监控与压测：使用nload/iftop/iptraf观察带宽与丢包；用TestDFSIO评估读写吞吐、NNBench评估元数据性能，基于指标迭代参数。