如何排查K8s Scheduler在调度pod过程中遗漏部分节点的问题

# 如何排查Kubernetes Scheduler在调度Pod过程中遗漏部分节点的问题

## 引言

Kubernetes作为当前最流行的容器编排平台，其调度器（Scheduler）负责将Pod分配到合适的节点上运行。但在实际生产环境中，我们经常会遇到Scheduler未能正确评估所有可用节点的情况，导致部分符合条件的节点被意外忽略。这类问题可能由多种因素引起，包括但不限于：

- 节点资源不足
- 节点标签不匹配
- 污点（Taint）与容忍（Toleration）配置问题
- 调度器策略配置错误
- 系统组件异常

本文将系统性地介绍排查这类问题的完整方法论，包含理论基础、工具使用和实践案例。

---

## 一、理解Kubernetes调度流程

### 1.1 调度器核心工作流程
```go
// 伪代码表示调度流程
for pod := range unscheduledPods {
    nodes := GetAllNodes()
    feasibleNodes := Filter(pod, nodes)  // 过滤阶段
    prioritizedNodes := Score(feasibleNodes)  // 评分阶段
    selectedNode := Select(prioritizedNodes)
    Bind(pod, selectedNode)
}

1.2 关键调度阶段

1. 过滤阶段（Filtering）：

   • 检查节点资源是否满足requests
   • 验证节点Selector与Pod Affinity/Anti-affinity
   • 检查污点与容忍配置

2. 评分阶段（Scoring）：

   • 根据资源平衡策略打分
   • 考虑亲和性权重
   • 应用自定义调度策略

---

二、常见问题分类与症状

2.1 资源相关遗漏

• 典型表现：节点有足够allocatable资源但未被选中
• 检查要点：

  
  kubectl describe node <node-name> | grep -A 10 Allocatable
  kubectl get pod -A -o wide | grep <node-name>
  

2.2 标签与选择器不匹配

• 诊断命令：

  
  kubectl get nodes --show-labels
  kubectl get pod <pod-name> -o yaml | grep nodeSelector -A 5
  

2.3 污点与容忍问题

• 排查方法：

  
  kubectl describe node | grep Taints
  kubectl get pod <pod-name> -o yaml | grep -i toleration -A 3
  

2.4 调度策略限制

• 检查方向：
  • 查看Predicates配置
  • 检查Priority Functions
  • 验证自定义调度插件

---

三、系统化排查方法论

3.1 基础信息收集

1. 获取调度器日志：

   kubectl logs -n kube-system <scheduler-pod> --v=5 | grep -i "filtering"
   

2. 检查事件记录：

   kubectl get events --sort-by=.metadata.creationTimestamp
   

3.2 调度过程模拟分析

使用kubectl describe获取调度决策详情：

kubectl describe pod <pending-pod> | grep -i events -A 20

3.3 高级诊断工具

1. 调度器性能分析：

   curl http://localhost:10251/debug/pprof/profile -o scheduler.pprof
   

2. 使用Scheduler Framework日志： “`yaml apiVersion: kubescheduler.config.k8s.io/v1beta2 kind: KubeSchedulerConfiguration profiles:

   • schedulerName: default-scheduler pluginConfig:
     • name: Filter args: loggingVerbosity: 5

   ”`

---

四、典型场景案例解析

4.1 案例一：节点资源碎片化

现象：节点显示有足够内存但Pod无法调度
根因：内存碎片导致无法分配连续内存块
解决方案：

kubectl top node
kubectl describe node | grep -A 10 "Allocated resources"

4.2 案例二：Pod拓扑约束冲突

错误配置：

affinity:
  podAntiAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
      - labelSelector:
          matchLabels:
            app: web
        topologyKey: kubernetes.io/hostname

4.3 案例三：自定义调度器冲突

诊断步骤： 1. 检查调度器配置 2. 验证扩展点注册 3. 分析调度器插件日志

---

五、深度调试技巧

5.1 调度器缓存检查

kubectl get --raw /debug/api/v1/scheduler_cache | jq .

5.2 使用调度器跟踪

// 示例跟踪配置
tracing:
  endpoint: jaeger-collector:14268
  samplingRatePerMillion: 1000

5.3 关键指标监控

• scheduler_pending_pods
• scheduler_scheduling_attempt_duration_seconds
• scheduler_framework_extension_point_duration_seconds

---

六、预防与最佳实践

6.1 定期维护建议

1. 节点资源碎片整理
2. 调度策略评审会议
3. 调度器版本升级规划

6.2 配置检查清单

- [ ] 验证节点资源报告准确性
- [ ] 检查Pod QoS配置
- [ ] 审核Affinity规则
- [ ] 验证污点配置

6.3 自动化验证方案

apiVersion: batch/v1
kind: Job
metadata:
  name: scheduler-test
spec:
  template:
    spec:
      containers:
      - name: test
        image: busybox
        resources:
          requests:
            memory: "1Gi"
      tolerations: [...]

---

结语

通过系统化的排查方法，结合Kubernetes提供的丰富诊断工具，我们可以有效解决调度器节点遗漏问题。建议建立常态化的调度健康检查机制，并持续关注调度器的新特性发展。当遇到复杂场景时，可考虑使用自定义调度插件来满足特殊业务需求。

注：本文所有命令基于Kubernetes 1.25+版本，不同版本可能存在参数差异。 “`

这篇文章包含了： 1. 完整的排查方法论框架 2. 具体命令和配置示例 3. 常见案例分析 4. 深度调试技巧 5. 预防性建议 6. 版本兼容性说明

可根据实际环境需求调整具体参数和案例细节。建议配合实际集群数据进行验证测试。