Ubuntu Java 磁盘 I/O 优化实战指南
一 系统层优化
- 存储硬件与布局
- 优先使用 SSD/NVMe，并按负载做磁盘隔离：将日志、数据、临时目录分别放到不同磁盘或分区，降低写放大与抖动。
- 结合场景选择 RAID：追求吞吐与容量可用 RAID0/RAID10，需要冗余与一定性能可用 RAID5/RAID6（写惩罚需评估）。
- 文件系统与挂载
- Ubuntu 默认 ext4 已足够；大文件/大分区可考虑 XFS。
- 挂载选项建议加上 noatime（必要时 nodiratime），减少元数据写入；日志模式可选 ordered/writeback（权衡一致性与性能）。
- I/O 调度器
- SSD/虚拟化 场景优先 noop 或 none（现代 NVMe 驱动表现更好）；HDD/数据库类 负载常用 deadline。
- 页缓存与脏页策略
- 适度调优内核脏页刷新：如 vm.dirty_background_ratio、vm.dirty_ratio、vm.dirty_expire_centisecs、vm.dirty_writeback_centisecs，在不影响一致性的前提下减少抖动与写放大。
- 非持久化临时数据放入 tmpfs（如 /dev/shm）可显著降低磁盘 I/O。
- 资源与稳定性
- 提升进程可打开文件数（如 ulimit -n），避免 “Too many open files”。
- 合理设置 vm.swappiness，避免频繁换页影响 I/O 稳定性。
二 Java 应用与 JVM 侧优化
- 减少与合并写
- 降低日志级别、减少冗余日志；采用异步日志（如主流日志框架的异步 Appender/Async Logger），避免业务线程阻塞在 I/O 上。
- 批处理与缓冲
- 合并小 I/O 为批量写；使用合适的 缓冲（如 BufferedWriter/ BufferedOutputStream 或 ByteBuffer），减少系统调用次数。
- 并发与队列
- 依据磁盘能力设置合理的并发写线程数与队列深度，避免无谓竞争；对高吞吐场景可考虑 mmap/文件通道 等更贴近内核的访问方式（需充分测试）。
- 堆与 GC 的间接影响
- 合理设置 -Xms/-Xmx，选择低停顿 GC（如 G1/ZGC），降低 Full GC 频率与伴随的 堆转储/日志 磁盘压力。
三 监控与定位方法
- 系统级观测
- 用 iostat -x 1 观察 %util、await、r/s、w/s、avgqu-sz，识别 I/O 饱和与响应延迟；top 中关注 iowait。
- 用 pidstat -d 1 定位产生 I/O 的具体进程；必要时用 strace -p -e trace=write,read 与 lsof 追踪文件级 I/O 来源。
- 内核跟踪工具如 filetop、opensnoop 可辅助发现热点文件与调用路径。
- 基准测试
- 使用 fio 验证磁盘能力（示例：随机/顺序读写、不同 ioengine/libaio、不同 iodepth/bs），为应用配置提供上限参考。
- 参考阈值
- 经验上，若 iowait 接近或超过 CPU 核心数的 25%，I/O 很可能成为瓶颈（需结合业务特性综合判断）。
四 快速检查清单与示例命令
- 快速检查清单
- 硬件与布局：是否使用 SSD？日志/数据/临时是否分离？
- 挂载选项：是否启用 noatime/nodiratime？是否使用合适的 文件系统？
- 调度器：SSD/虚机是否为 noop/none？HDD/数据库是否为 deadline？
- 资源限制：进程 ulimit -n 是否足够？vm.swappiness 是否合理？
- 应用侧：是否启用异步日志？是否合并小 I/O并合理缓冲？
- 示例命令
- 查看磁盘与 I/O 情况：iostat -x 1；pidstat -d 1
- 调整调度器（示例为 NVMe 设备）：echo noop > /sys/block/nvme0n1/queue/scheduler
- 挂载选项示例（/etc/fstab）：UUID=xxx /data ext4 defaults,noatime 0 2
- fio 基准测试（随机写，libaio，队列深度 64）：
fio -name=randwrite -direct=1 -iodepth=64 -rw=randwrite -ioengine=libaio -bs=4k -size=1G -numjobs=1 -runtime=1000 -group_reporting -filename=/data/testfile
五 容器与 Kubernetes 场景补充
- 存储选择：依据 I/O 特性选择 StorageClass/PersistentVolume（如 EBS、Ceph、NFS 等），为关键负载配置更高性能的存储类。
- 文件系统与挂载：在 PV/PVC 层面指定 ext4/XFS 与 noatime/nodiratime 等挂载选项。
- 运行时：合理设置 JVM 堆 与 GC，结合 Prometheus/Grafana 持续观测磁盘指标并迭代调优。