CentOS环境下Kubernetes插件开发指南
一 环境准备与工具链
- 操作系统与基础组件
- 建议使用 CentOS 7/8，安装并启动 Docker 与 kubelet/kubeadm/kubectl，完成集群初始化与 kubeconfig 配置（如将 /etc/kubernetes/admin.conf 拷贝至 $HOME/.kube/config）。
- 开发语言与SDK
- 插件开发常用 Go 1.19+；控制器/Operator 推荐使用 Kubebuilder 或 Operator SDK 快速生成项目骨架与控制器框架。
- 网络与权限
- 确保节点间网络互通，禁用或调优 firewalld/SELinux 以避免干扰容器网络与 kubelet。
- 开发/调试 CNI 插件需具备 root 或具备 CAP_NET_ADMIN 能力的执行环境。
二 插件类型与适用场景
| 插件类型 |
作用 |
典型入口/位置 |
适用场景 |
| kubectl 插件 |
扩展 kubectl 子命令 |
可执行文件命名以 kubectl- 开头，放入 $PATH |
运维工具、集群诊断、批量操作 |
| CNI 网络插件 |
容器网络配置与回收 |
可执行文件放入 /opt/cni/bin/，配置放入 /etc/cni/net.d/ |
自定义网络方案、对接 SDN/物理网络 |
| Operator/控制器 |
自定义资源与自动化运维 |
基于 controller-runtime 的控制器与 CRD |
有状态应用编排、运维自动化 |
| 调度器插件 |
扩展调度决策 |
实现调度器 Extender/Framework 插件 |
亲和/反亲和、资源感知调度 |
| 准入/授权 Webhook |
请求拦截与策略校验 |
Deployment + Service(443) + Mutating/ValidatingWebhookConfiguration |
安全合规、策略即代码 |
三 快速上手示例
- 示例一 kubectl 插件（Go）
- 目标：实现一个列出所有 Pod 名称的 kubectl 子命令。
- 步骤：
- 初始化项目与依赖（示例命令）
- go mod init github.com/example/kubectl-listpods
- go get k8s.io/client-go@latest k8s.io/cli-runtime@latest
- 代码 main.go
- 使用 client-go 与 genericclioptions 读取 kubeconfig，调用 clientset.CoreV1().Pods(“”).List 获取并打印 Pod 名称。
- 构建与安装
- go build -o kubectl-listpods main.go
- sudo mv kubectl-listpods /usr/local/bin/
- 使用
- 示例二 CNI 插件（最小骨架）
- 目标：实现 cmdAdd/cmdDel 的最小 CNI 插件，可被 kubelet 调用。
- 步骤：
- 目录与二进制
- 将可执行文件放入 /opt/cni/bin/mycni（示例为 Go 程序，调用 skel.PluginMain(cmdAdd, cmdDel)）。
- 网络配置
- 在 /etc/cni/net.d/10-mycni.conf 放置配置（示例字段：cniVersion、name、type 指向可执行文件名）。
- 节点配置
- 确保 kubelet 的 cni-conf-dir=/etc/cni/net.d 与 bin-dir=/opt/cni/bin 配置正确，重启 kubelet 生效。
- 验证
- 创建测试 Pod，检查 /var/log/messages 或插件日志，确认 cmdAdd/cmdDel 被调用。
四 调试与部署要点
- kubectl 插件
- 命名规范：可执行文件以 kubectl- 开头，放入 $PATH 后可直接通过 kubectl 调用；使用 kubectl plugin list 查看可用插件。
- CNI 插件
- 放置路径：二进制到 /opt/cni/bin/，配置到 /etc/cni/net.d/；配置文件 name 需与二进制名一致或按配置指定。
- kubelet 配置：在 kubelet 启动参数中指定 –cni-bin-dir 与 –cni-conf-dir，变更后重启 kubelet。
- 日志与排错：查看 kubelet 与插件 stderr/stdout 日志，使用 CNI_COMMAND=ADD/DEL 环境变量进行本地单步调试。
- Operator/控制器
- 使用 Kubebuilder/Operator SDK 生成项目，定义 CRD 与控制器，执行 make manifests、make install、make deploy 部署到集群，结合日志与 kubectl describe 排查事件。
五 常见问题与排查清单
- 插件命令找不到
- 确认二进制以 kubectl- 开头并位于 $PATH；执行 kubectl plugin list 检查是否识别。
- CNI 插件未生效
- 核对 /opt/cni/bin 与 /etc/cni/net.d 权限与路径；检查 kubelet 的 cni-conf-dir/bin-dir 参数；查看 kubelet 与插件日志。
- Pod 网络不通
- 确认集群已部署 CNI 网络插件（如 Flannel/Calico 等）；排查节点路由、iptables/ebtables、安全组规则。
- Operator 未 reconcile
- 检查 CRD 已创建、RBAC 授权正确、控制器 Deployment 就绪与镜像拉取成功，查看控制器日志与 kubectl get events。