在 CentOS 上提升 Kubernetes 效率的实用清单
一 系统层优化
- 关闭或严格限制 Swap：Kubelet 默认要求关闭 Swap；如必须保留，设置 vm.swappiness≤10 并仅对特定 cgroup 放开，避免性能抖动。
- 文件句柄与内核对象：提升系统容量与稳定性，建议设置 fs.file-max=1000000，fs.inotify.max_user_instances=524288，fs.inotify.max_user_watches=524288。
- 虚拟内存与地址空间：为大数据/ES/Java 等场景提升 vm.max_map_count=655360；必要时设置 vm.overcommit_memory=1（需充分测试）。
- 网络栈与邻居表：提升连接与 ARP 缓存能力，建议 net.core.netdev_max_backlog=10000，net.ipv4.neigh.default.gc_thresh1=1024/4096、gc_thresh2=4096/6144、gc_thresh3=8192；开启桥接流量进入 iptables/ip6tables：net.bridge.bridge-nf-call-iptables=1、net.bridge.bridge-nf-call-ip6tables=1；开启转发 net.ipv4.ip_forward=1。
- 连接跟踪与端口：提升高并发场景下的 conntrack 能力，建议 net.netfilter.nf_conntrack_max=10485760；扩大本地端口范围 net.ipv4.ip_local_port_range=1024 65535；优化 TCP 队列与复用 net.core.somaxconn=65535、net.ipv4.tcp_max_syn_backlog=65535、net.ipv4.tcp_tw_reuse=1。
- 磁盘与 I/O 调度：优先使用 SSD/NVMe；针对 SSD 选择 noop/deadline 调度器以降低调度开销。
- 安全策略取舍：生产环境不建议直接禁用 SELinux/Firewalld，应通过精细策略放行 kubelet、apiserver、nodePort 等必要端口与路径。
二 容器运行时与 kubelet 调优
- 运行时选择：优先 containerd 或 CRI-O，资源开销更低、集成更简洁。
- kubelet 关键参数：合理提升 –max-pods（依据节点资源与 Pod 密度）；设置 –cgroup-driver=systemd 与 kubelet 同栈；开启镜像 GC（如 –image-gc-high-threshold=85、–image-gc-low-threshold=80）避免磁盘被镜像占满。
- 容器运行时参数：使用 overlay2 存储驱动；日志轮转（如 max-size=100m）避免磁盘被容器日志打满；容器日志驱动建议 json-file 并配合采集器集中处理。
三 网络优化
- CNI 与数据面：优先选择高性能 CNI（如 Calico/Cilium），结合 NetworkPolicy 减少横向流量；在 IPVS 与 iptables 之间，大规模/高并发场景更推荐 IPVS（连接调度更高效）。
- 服务暴露与 conntrack 压力：减少 NodePort 五元组转换带来的 conntrack 压力，优先 LoadBalancer/Ingress；按需调大 –conntrack-max 与 –conntrack-tcp-timeout-established（如 1000000、3600s）。
- MTU 一致性：根据物理网络设置 MTU=9000（Jumbo Frames）或 1500（标准以太网），并确保 Pod、veth、网卡、CNI 全链路一致，避免分片与性能损耗。
- 高速网络：节点间/存储面优先 10Gbps+ 网卡与低延迟交换机，减少 P99 时延波动。
四 存储与调度优化
- 存储后端与调度：优先 SSD/NVMe 或高性能分布式存储（如 Ceph/GlusterFS）；为不同性能需求配置 StorageClass（如 ssd/scsi-hdd），并合理设置 PV/PVC 容量与回收策略，避免资源浪费。
- 调度与拓扑：利用 节点亲和/反亲和、污点与容忍、拓扑分散 提升关键负载的隔离度与资源利用率；结合 HPA（CPU/内存/自定义指标） 与 Cluster Autoscaler 实现弹性伸缩，减少资源闲置。
- 应用层优化：使用 轻量镜像与多阶段构建 缩短拉取与启动时间；为所有 Pod 设置合理的 requests/limits，避免抖动与 OOM；对数据库/缓存等后端合理使用 应用层缓存。
五 控制面与可观测性
- 关键组件并发与资源：提升 API Server 并发能力（如 –max-requests-inflight、–max-mutating-requests-inflight），并为其配置充足的 CPU/内存 与 负载均衡；按集群规模调整 Controller Manager/Scheduler 的资源与参数。
- etcd 性能与可靠性：部署 3/5 节点 高可用集群并放置于 SSD；根据网络延迟调整 –heartbeat-interval 与 –election-timeout；必要时设置 –quota-backend-bytes 控制后端数据库大小。
- 监控与日志：部署 Prometheus + Grafana 监控节点/Pod/网络/存储指标，配置 EFK/ELK 集中采集与分析日志，结合告警规则快速定位瓶颈。
- 变更与维护：保持 Kubernetes 与内核 的定期升级，获取性能修复与安全改进；变更前备份配置与数据，先在测试环境验证。