Kubernetes在Debian上的性能优化技巧

Kubernetes在Debian上的性能优化技巧

一 基础系统与内核优化

• 关闭或禁用 Swap：Kubelet 要求关闭 Swap，避免内存回收抖动。执行：sudo swapoff -a，并在 /etc/fstab 中注释含 swap 的行以永久生效。
• 启用关键内核参数：创建 /etc/sysctl.d/99-kubernetes.conf，写入并应用：
  net.bridge.bridge-nf-call-iptables=1
  net.bridge.bridge-nf-call-ip6tables=1
  net.ipv4.ip_forward=1
  应用：sudo sysctl --system。
• 文件句柄与网络栈：提升连接承载能力，编辑 /etc/sysctl.conf 或相应 drop-in：
  net.core.somaxconn=65535
  net.ipv4.tcp_max_syn_backlog=65535
  net.ipv4.ip_local_port_range=1024 65535
  net.ipv4.tcp_tw_reuse=1
  net.ipv4.tcp_fin_timeout=30
  net.ipv4.tcp_max_tw_buckets=180000
  应用：sudo sysctl -p。
• 内存管理：将 vm.swappiness 设为 10（兼顾稳定性与性能，避免频繁换页）。
• 容器运行时与模块：优先使用 containerd/CRI-O；加载内核模块 overlay、br_netfilter 并启用桥接流量进入 iptables。
• 防火墙与安全模块：若使用 UFW，放行关键端口（如 6443、10250、10251、10252、2379、2380）；如需 AppArmor，应为容器提供合规配置而非粗暴关闭。

二 容器运行时与 kubelet 调优

• 运行时选择：Kubernetes 1.20+ 不再支持 Docker 作为容器运行时，推荐使用 containerd 或 CRI-O；安装后启用并设置为开机自启。
• 容器引擎参数：启用 SystemdCgroup（/etc/containerd/config.toml 中设置 SystemdCgroup = true），减少 cgroup 层级开销；配置合适的镜像仓库镜像以加速拉取。
• kubelet 关键项：为 kubelet 设置合理的 –eviction-hard（如 memory.available<100Mi）、启用 Topology Manager（–topology-manager-policy=best-effort/cpu-manager-policy=static）、设置 –image-gc-high-threshold 与 –image-gc-low-threshold 控制镜像回收；确保 cgroups 驱动与容器运行时一致。

三 网络性能优化

• CNI 插件：选择高性能、生产就绪的 Calico/Flannel/Weave 等；根据底层网络选择 MTU 1500（常规以太网）或 9000（Jumbo Frames），避免分片与性能劣化。
• 内核网络参数：除上述桥接与转发外，可按需优化 net.core.netdev_budget 与 RPS/RFS（多队列网卡），提升 PPS 与中断负载分摊。
• 服务拓扑与拓扑感知：结合 Topology Manager 与 Node Affinity，将时延敏感型服务尽量同机或同机架聚合，降低跨节点/跨机架时延。
• 安全与策略：使用 NetworkPolicy 精确放行必要流量，减少广播与横向扫描带来的噪声。

四 调度与资源控制

• 资源配置：为所有工作负载设置明确的 requests/limits（CPU/内存），避免资源争用与 OOM；对关键系统组件（如 kube-proxy、coredns）设置 Guaranteed QoS。
• 调度策略：合理使用 Node/Pod Affinity/Anti-Affinity 实现亲和与反亲和，提升缓存命中与稳定性；通过 Taints/Tolerations 隔离专用节点（如 GPU/高性能盘）。
• 自动扩缩容：为无状态服务配置 HPA（基于 CPU/内存或自定义指标），示例目标平均利用率 70%，最小副本 2、最大副本 10，实现负载自适应。
• 高级调度：启用或调整调度器评分插件（如 NodeResourcesBalancedAllocation），提升节点资源均衡度；在大规模或特殊场景可考虑 自定义调度器。

五 存储与监控落地

• 存储选择：优先使用 高性能 SSD/NVMe；避免 NFS 等潜在高延迟存储作为数据库/消息队列等低时延场景的数据卷；大规模生产建议使用 CSI 对接企业存储。
• 本地卷与调度：对延迟敏感负载使用 emptyDir/local PV 并配合 nodeAffinity/Taints 固定到高性能节点，减少网络抖动。
• 观测体系：部署 Prometheus + Grafana 监控节点与 Pod 指标（CPU/内存/网络/磁盘/调度延迟），结合 ELK 或 Loki 收集日志，建立容量与性能基线并持续优化。
• 快速检查清单：
  1. 已关闭 Swap 且 vm.swappiness=10；2) 已启用桥接与转发；3) 已加载 overlay/br_netfilter；4) 运行时为 containerd/CRI-O 且启用 SystemdCgroup；5) CNI 与 MTU 配置正确；6) 关键端口放行；7) 工作负载均有 requests/limits；8) 已配置 HPA 与必要的 Affinity/Anti-Affinity。