Debian系统Kubernetes部署的性能调优技巧
一 基础系统与内核优化
- 关闭或禁用 Swap：Kubernetes 调度器要求节点关闭 Swap，临时执行 sudo swapoff -a，永久则在 /etc/fstab 注释 swap 行，避免性能抖动与 OOM 误判。
- 加载必要内核模块并开启桥接流量入 iptables：
- 模块：overlay、br_netfilter
- sysctl：net.bridge.bridge-nf-call-iptables=1、net.bridge.bridge-nf-call-ip6tables=1、net.ipv4.ip_forward=1
- 网络与连接调优（/etc/sysctl.conf 或 /etc/sysctl.d/k8s.conf）：
- net.core.somaxconn=65535；net.ipv4.tcp_max_syn_backlog=65535
- net.ipv4.ip_local_port_range=1024 65535；net.ipv4.tcp_tw_reuse=1；net.ipv4.tcp_fin_timeout=30；net.ipv4.tcp_max_tw_buckets=180000
- 内存与虚拟内存：vm.swappiness=10（或更低）；vm.max_map_count=524288（Elasticsearch/高 mmap 场景）；fs.inotify.max_user_instances=8192；fs.inotify.max_user_watches=524288；fs.aio-max-nr=1048576
- 持久化生效：执行 sysctl --system，必要时重启验证。
二 容器运行时与 kubelet 关键参数
- 运行时选择：自 Kubernetes 1.24 起，建议直接使用 containerd；若必须使用 Docker，需部署 cri-dockerd。
- kubelet 调优要点：
- 设置 cgroup 驱动为 systemd（与 Debian systemd 一致，减少兼容性问题）。
- 合理控制每节点 Pod 规模：同时设置 podsPerCore 与 maxPods，以较小值为准；例如 4 核节点设置 podsPerCore=10 则上限为 40 个 Pod（每个 Pod 至少包含 pause 容器，实际容器数≈2×Pod 数）。
- 示例（KubeletConfiguration）：
- podsPerCore: 10
- maxPods: 250
- 避免将 podsPerCore 设得过大，否则可能导致 CPU 使用率升高、调度变慢、内存耗尽或 IP 地址池耗尽。
三 网络性能优化
- CNI 与 MTU：选择高性能 CNI（如 Calico、Flannel、Weave），并根据网卡与交换机能力设置正确 MTU（1500 或 9000），避免分片与吞吐受限。
- 服务转发与连接跟踪：
- 高并发下 kube-proxy 的 iptables 模式可能成为瓶颈，优先使用 ipvs 模式（需内核 ip_vs 模块）。
- 适度提升连接跟踪上限与回收：–conntrack-max、–conntrack-ttl，减少丢包与性能劣化。
- 主机网络栈：结合节点负载调大 net.core.rmem_max、net.core.wmem_max 等缓冲区，提升大流量场景的吞吐与稳定性。
四 调度与弹性扩缩容策略
- 资源配置与请求：为所有工作负载设置合理的 requests/limits，避免资源争用与 OOM；为系统组件设置资源限制，保障控制面稳定。
- 亲和性与反亲和性：
- 节点亲和性/反亲和性用于拓扑分散与资源隔离（如将 ML/GPU 负载调度到带 kubernetes.io/gpu=nvidia-gpu 标签的节点）。
- Pod 亲和/反亲和用于降低跨节点延迟（如将前端与本地缓存同机部署）。
- 污点与容忍：通过 taints/tolerations 隔离专用节点（如 GPU、高性能存储）。
- 调度器扩展：在需要自定义策略时，启用或扩展 kube-scheduler 的 score 插件（如 NodeResourcesBalancedAllocation），提升负载均衡度。
- 弹性扩缩容：基于 CPU/内存或自定义指标配置 HPA，示例目标平均利用率 70%，最小副本 2、最大副本 10。
五 存储监控与维护
- 存储选型：优先 SSD/NVMe 等低时延介质；为不同负载配置差异化 StorageClass（高性能场景使用 SSD 类）。
- 分布式/云盘：高可用与吞吐场景可选 Ceph/GlusterFS 或云厂商块存储，结合应用 IOPS/时延需求设定副本与 QoS。
- 监控与日志：部署 Prometheus + Grafana 监控节点与 Pod 指标，使用 ELK/Fluentd 聚合日志，结合阈值告警与容量规划。
- 持续维护：保持 Kubernetes 与内核 的及时更新，定期复盘调度与资源配额策略，结合监控数据迭代优化。