k8s如何优化centos存储

Kubernetes 在 CentOS 上的存储优化实践

一 硬件与操作系统层优化

• 存储介质优先级：优先选用 SSD/NVMe，其随机 IOPS 与低延迟更适合数据库、消息队列等 I/O 密集负载；HDD 仅用于大容量、低并发场景。
• 节点规划：为 etcd 与高 IOPS 有状态工作负载绑定高性能磁盘，避免与日志、镜像等混布。
• 内核与文件系统：
  • 将 I/O 调度器设置为 noop/deadline（SSD/NVMe 推荐 noop；HDD 可用 deadline），降低调度开销。
  • 降低交换倾向：vm.swappiness=10（或更低），减少 swap 对延迟的影响。
  • 提升虚拟内存映射：vm.max_map_count=524288（Elasticsearch、日志类应用受益明显）。
  • 提升 AIO 能力：fs.aio-max-nr 适度增大，减少高并发同步 I/O 阻塞。
  • 容器镜像与日志：使用 overlay2 存储驱动；容器日志采用 json-file 并限制单文件大小（如 100Mi），避免日志写放大。
  • 安全与稳定性：生产环境不建议直接关闭 SELinux 与 firewalld，应通过精细策略放行必要端口与路径。

二 存储架构与供应策略

• 方案选型：
  • 分布式块/对象存储：如 Ceph（RBD/RGW），具备高可用、横向扩展与副本/纠删码数据保护，适合通用有状态服务与数据库。
  • 分布式块存储：如 Longhorn（CSI），轻量易运维，适合中小规模或边缘场景。
  • 文件共享：如 NFS（RWX 场景），部署简单，适合内容管理、共享缓存等。
  • 云盘/本地盘：结合云厂商块存储或节点本地 NVMe 提升性能，注意亲和性与数据保护策略。
• StorageClass 与动态供给：按介质与性能定义多个 StorageClass（如 ssd/nvme/hdd），为不同应用自动匹配卷类型与参数（IOPS、加密、拓扑等）。
• PV/PVC 与回收策略：为关键数据设置 Retain 回收策略，避免误删导致数据不可恢复；容量申请（requests/storage）与实际使用匹配，减少碎片与浪费。
• 示例落地：
  • Ceph RBD/CephFS：通过 Rook 在 Kubernetes 中部署与管理 Ceph 集群，提供 RBD（RWO）/CephFS（RWX） 等存储能力。
  • NFS：在节点部署 NFS 服务，创建 ReadWriteMany PV/PVC 供多 Pod 共享。

三 运行时与 K8s 组件调优

• kubelet：
  • 设置 –cgroup-driver=systemd（与 systemd 保持一致），提升资源隔离与稳定性。
  • 结合节点资源合理设置 –max-pods，避免 Pod 过多导致卷挂载、网络与 I/O 争用。
• 容器运行时：优先 containerd/CRI-O；容器日志采用 json-file 并限制 max-size/max-file，减少磁盘占满与抖动。
• 存储插件与 CSI：
  • 选择性能与稳定性更优的 CSI 驱动（如 Ceph CSI、Longhorn CSI），并启用卷扩容、快照、克隆等能力。
  • 对于数据库等强一致、低延迟场景，优先 RWO 卷并绑定高性能 StorageClass；共享场景使用 RWX（如 CephFS/NFS）。
• 拓扑与调度：对延迟敏感的有状态服务，使用 节点亲和/污点与容忍 将卷与 Pod 共置，减少跨节点网络与存储路径开销。

四 监控 容量规划与常见瓶颈

• 监控与告警：
  • 节点与容器：采集 iostat、vmstat、df、du 等指标，关注 IOPS、吞吐、延迟、利用率、inode 使用。
  • 应用与存储栈：结合 Prometheus + Grafana 建立卷性能与容量面板，设置阈值告警（如延迟突增、容量 >80%）。
• 容量与性能测试：定期进行 fio 基准测试与业务仿真压测，验证 StorageClass 与卷参数的有效性，并据此调整副本数、条带/聚合、缓存等策略。
• 常见瓶颈与对策：
  • 存储 I/O 成为瓶颈：升级至 SSD/NVMe、优化调度与亲和、分离高 I/O 负载、调整 I/O 调度器 与队列深度。
  • 容量与 inode 耗尽：设置 PVC 配额 与 监控告警，清理无用镜像/日志/快照，必要时扩容或归档。
  • 网络带宽不足影响远程存储：使用 10Gbps+ 网络与合适的 MTU，减少跨机房/跨地域访问。
  • 并发连接与元数据压力：调优内核与网络栈（如 conntrack 与 socket 参数），避免连接风暴放大存储访问延迟。