Linux 上提升 HDFS 读写速度的系统化做法
一 硬件与操作系统层优化
- 存储与内存：优先使用 SSD/NVMe，为 NameNode/DataNode 配置充足内存以缓存元数据与页缓存；更多内存可显著减少磁盘 I/O。
- 网络：节点间使用 10Gbps 及以上 专用网络，避免与其他业务争用带宽。
- 磁盘与调度：按介质选择 I/O 调度器（如 noop/deadline/cfq），合理分区与 RAID 提升并行度与可靠性。
- 系统参数：挂载磁盘使用 noatime，降低元数据写入；将 vm.swappiness 调低以减少 swap；提升网络队列与连接上限（如 net.core.somaxconn）；放宽 ulimit -n/-u 以适配大量文件与连接。
- 短路读：启用 短路读取（short-circuit reads），让客户端直接读取本地 DataNode 数据块，显著降低网络往返与延迟。
二 HDFS 核心参数与数据布局
- 块大小：根据负载调整 dfs.blocksize，大文件/顺序访问建议 256MB–512MB，可减少 NameNode 元数据压力与网络往返；小文件/随机访问可适当减小。
- 副本因子：默认 dfs.replication=3 在可靠性与读取并发间折中；若带宽充足且以吞吐为主，可在测试后适度降低，反之可提高。
- 并发与线程：提升 dfs.namenode.handler.count 以增强 NameNode RPC 并发；合理设置 dfs.datanode.handler.count 提升 DataNode 请求处理能力。
- 短路读与本地性：启用短路读并优化 数据本地化（如 mapreduce.job.locality.wait），减少跨节点网络传输。
- 小文件治理：小文件会压垮 NameNode 与任务调度，尽量合并；冷数据可归档（如 HAR）。
- 数据均衡：定期运行 hdfs balancer 保持数据在各 DataNode 均匀分布，避免热点。
三 应用与作业层优化
- 压缩：在 MapReduce/Spark 中启用中间与输出压缩（如 Snappy/LZO），减少磁盘占用与网络传输时间。
- 容器与内存：在 YARN 中为 NodeManager 与容器分配合理内存/CPU（如 yarn.nodemanager.resource.memory-mb、yarn.nodemanager.resource.cpu-vcores、yarn.scheduler.minimum-allocation-mb、yarn.scheduler.maximum-allocation-mb），避免 OOM 与资源碎片化。
- JVM 与并行度：为 Map/Reduce 设置合适的堆大小（如 mapreduce.map.java.opts、mapreduce.reduce.java.opts），并依据数据量与集群规模合理设置 map/reduce 数量，避免过多小任务或过大任务。
- 数据分片：让作业分片与 HDFS 块大小 对齐，减少额外开销并提升顺序扫描效率。
四 网络与 Linux 内核参数示例
- 增大套接字缓冲区与窗口，提高大流量吞吐：
- sudo sysctl -w net.core.rmem_max=16777216
- sudo sysctl -w net.core.wmem_max=16777216
- sudo sysctl -w net.ipv4.tcp_rmem=“4096 87380 16777216”
- sudo sysctl -w net.ipv4.tcp_wmem=“4096 65536 16777216”
- 提升连接与队列能力：
- 增大 net.core.somaxconn 与 net.ipv4.tcp_max_syn_backlog，缓解高并发下的连接排队。
- 文件句柄与进程数：
- 在 /etc/security/limits.conf 设置 * soft/hard nofile 65535，在 /etc/sysctl.conf 设置 fs.file-max=131072，并确认 pam_limits.so 已加载，避免 “Too many open files”。
- 说明：不同发行版与内核版本参数名与默认值可能不同，调整前请评估与压测。
五 压测与持续监控
- 基准测试：使用 TestDFSIO 评估吞吐，例如写测试：
- hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB
- 读测试将 -write 换为 -read；并发度可通过 -nrFiles 调整（如 500）以贴近业务并发。
- 监控与日志：结合 Ganglia/Prometheus 等监控 HDFS 延迟、吞吐量、CPU/磁盘/网络 等指标，定期分析 NameNode/DataNode 与 YARN 日志定位瓶颈。
- 变更流程：任何参数调整先在测试环境验证，再灰度上线，持续回归与压测，避免对生产造成影响。