Debian上K8s的性能调优技巧

Debian上K8s性能调优技巧

1. 硬件资源优化

• 节点资源扩容：根据工作负载需求增加节点CPU（如4核及以上）、内存（如4GB及以上）和存储容量；优先将控制平面节点（Master）与工作节点（Worker）分离，避免相互干扰。
• 使用高性能存储：采用SSD替代HDD，降低存储延迟并提高IOPS；推荐使用分布式存储系统（如Ceph、GlusterFS）或本地NVMe SSD，满足高I/O应用需求。

2. 内核参数调优

• 调整网络参数：修改/etc/sysctl.conf（或/etc/sysctl.d/k8s-sysctl.conf）文件，添加以下参数以优化网络性能：
  net.core.somaxconn = 65535（监听队列长度）、net.ipv4.tcp_max_syn_backlog = 65535（SYN队列长度）、net.ipv4.tcp_tw_reuse = 1（复用TIME-WAIT连接）、net.ipv4.tcp_fin_timeout = 30（FIN等待超时）、net.ipv4.ip_local_port_range = 1024 65535（本地端口范围）、vm.swappiness = 10（减少交换分区使用）。修改后执行sysctl -p使配置生效。
• 启用桥接转发：添加net.bridge.bridge-nf-call-ip6tables = 1、net.bridge.bridge-nf-call-iptables = 1参数，确保Kubernetes网络插件（如Calico）正常工作。

3. Kubernetes组件调优

• kubelet调优：修改kubelet启动参数（如/etc/default/kubelet或/var/lib/kubelet/config.yaml），增加--concurrent-endpoints=1000（并发处理端点数量）、--max-pods=110（单节点最大Pod数）；调整镜像垃圾回收阈值--image-gc-high-threshold=85（触发GC的高水位线）、--image-gc-low-threshold=80（GC完成后的低水位线），避免磁盘空间耗尽。
• kube-proxy调优：推荐使用IPVS模式（需提前加载ip_vs、ip_vs_rr等内核模块），替代默认的iptables模式，提升大规模集群的网络负载均衡性能；调整--conntrack-max=131072（连接跟踪表大小）、--conntrack-tcp-timeout=3600（TCP连接跟踪超时），避免连接跟踪表溢出。
• API Server调优：增加API Server的资源请求（如--request-cpu=2、--request-memory=4Gi）和限制（如--limit-cpu=4、--limit-memory=8Gi）；调整--max-requests-inflight=1000（并发请求数）、--max-mutating-requests-inflight=500（并发变更请求数），提高API处理能力。

4. 网络优化

• 选择高性能CNI插件：推荐使用Calico（支持BGP路由、网络策略）或Cilium（基于eBPF，提供高吞吐量和低延迟），替代Flannel等传统插件。
• 调整MTU大小：根据网络环境设置MTU为1450（适用于Overlay网络，如Calico的vxlan模式）或1500（适用于物理网络），减少数据包分片，提高传输效率。
• 开启CoreDNS缓存：通过ConfigMap配置CoreDNS缓存（如proxy . 5s），减少DNS查询延迟，提升服务访问速度。

5. 存储优化

• 使用CSI驱动：采用Container Storage Interface（CSI）驱动（如Longhorn、Rook-Ceph）管理存储卷，提高存储资源的动态分配效率和可靠性。
• 配置存储类（StorageClass）：根据应用需求创建不同的StorageClass（如ssd、hdd），实现存储资源的自动选择；设置ReclaimPolicy=Delete（删除PV时同时删除底层存储）或Retain（保留底层存储），根据数据安全性需求调整。

6. 调度优化

• 资源请求与限制：为Pod设置合理的resources.requests（如cpu: "500m"、memory: "512Mi"）和resources.limits（如cpu: "1"、memory: "1Gi"），避免资源争用和OOM（Out of Memory）问题。
• 节点亲和性与反亲和性：使用nodeAffinity（如requiredDuringSchedulingIgnoredDuringExecution）将Pod调度到指定节点（如GPU节点），或使用podAntiAffinity（如requiredDuringSchedulingIgnoredDuringExecution）将同一服务的Pod分散到不同节点，提高负载均衡和服务可用性。
• Horizontal Pod Autoscaler（HPA）：配置HPA根据CPU利用率（如targetCPUUtilizationPercentage=80）或自定义指标（如QPS）动态调整Pod副本数量，适应负载变化。

7. 监控与维护

• 部署监控工具：使用Prometheus（采集集群指标）+ Grafana（可视化）监控集群性能（如节点CPU/内存使用率、Pod状态、网络流量）；设置告警规则（如节点内存使用率超过80%时触发告警），及时发现并解决问题。
• 日志管理：使用EFK（Elasticsearch+Fluentd+Kibana）或Loki+Grafana收集和分析集群日志，设置合理的日志级别（如INFO而非DEBUG），减少不必要的日志输出，降低磁盘I/O压力。
• 定期维护：定期清理无用的Pod、Service和Volume（如使用kubectl delete pod --field-selector=status.phase==Failed删除失败Pod）；更新Kubernetes及相关组件（如containerd、CNI插件）到最新稳定版本，获取性能改进和安全修复。