Ubuntu 上提升 HDFS 读写速度的系统化优化
一 硬件与操作系统层优化
- 存储介质：优先使用 SSD/NVMe，并将 HDFS 数据目录配置到 SSD；多盘节点采用 JBOD 或多目录并行写入，避免 RAID 带来的写放大与热点盘。
- 内存与 CPU：为 NameNode/DataNode 分配充足内存，增加 CPU 核心以提升并发处理。
- 网络：使用 10Gbps 及以上低延迟网络，并为 HDFS 配置 专用网络；跨机架传输时启用 机架感知以减少跨域流量。
- Linux 文件系统与挂载：推荐 XFS/EXT4，挂载时加 noatime；提升顺序读预读：例如
blockdev --setra 2048 /dev/sdX；减少 swap 倾向，避免 I/O 抖动。
二 HDFS 关键参数调优
- 块大小：大文件/长顺序读写将 dfs.blocksize 提升到 256MB/512MB，减少 NameNode 元数据压力与任务启动开销；小文件密集场景保持或下调以匹配访问粒度。
- 副本因子：在可靠性允许下，将 dfs.replication 从 3 适度下调（如 2），降低写入放大与网络/磁盘占用；重要数据保持 3。
- 并发与 I/O：提高 dfs.namenode.handler.count、dfs.datanode.handler.count 以支撑更高 RPC 并发；增大 io.file.buffer.size（如 64KB/128KB）提升顺序 I/O 吞吐。
- 数据布局：为 dfs.datanode.data.dir 配置多磁盘目录，分散 I/O；合理设置 dfs.datanode.du.reserved 保留空间，避免磁盘被写满导致性能劣化。
- 数据放置与均衡：启用 机架感知，定期运行 hdfs balancer 使数据/负载均衡，提升读写并行度与稳定性。
三 YARN 与作业层优化
- 资源分配：为 NodeManager 配置合理内存/CPU，例如 yarn.nodemanager.resource.memory-mb=8192、yarn.nodemanager.resource.cpu-vcores=8；设置 yarn.scheduler.minimum-allocation-mb 与 yarn.scheduler.maximum-allocation-mb 以匹配作业需求。
- 本地化与调度：适度增大 mapreduce.job.locality.wait（如 300000 ms），提升 数据本地化比例，减少跨节点网络读。
- 并行度与压缩：依据数据规模设置 map/reduce 任务数；启用中间与输出压缩（如 mapreduce.map.output.compress、mapreduce.output.fileoutputformat.compress，常用 Snappy/LZO），降低 I/O 与网络传输。
四 网络与 Linux 内核参数
- TCP 缓冲区与队列：提升 net.core.rmem_max、net.core.wmem_max 与 net.ipv4.tcp_rmem/tcp_wmem，增强高带宽长连接稳定性与吞吐。示例：
sudo sysctl -w net.core.rmem_max=16777216；sudo sysctl -w net.ipv4.tcp_rmem="4096 87380 16777216"；sudo sysctl -w net.ipv4.tcp_wmem="4096 65536 16777216"。
- 连接与队列：增大 net.core.somaxconn、net.ipv4.tcp_max_syn_backlog，缓解高并发下的连接排队。
- 建议将以上参数写入 /etc/sysctl.conf 持久化，并在变更后执行
sysctl -p 生效。
五 小文件与冷热数据治理
- 小文件合并：对海量小文件使用 HAR 归档（
hadoop archive 或 hadoop archive -archiveName xxx.har -p /src /dst），减少 NameNode 元数据压力与寻道开销。
- 存储策略：对冷数据归档或降副本；对热数据使用 SSD 与更高并发访问策略。
- 压缩编码：列式格式如 ORC/Parquet 具备更高压缩比与谓词下推能力，配合 Snappy/LZO 可显著减少 I/O 与网络传输。