Ubuntu 上运行 Kubernetes 的容器编排最佳实践
一 环境准备与系统基线
- 操作系统与资源：优先选择 Ubuntu 22.04 LTS，控制面建议 4C8G，工作节点 16C32G 起；单节点开发测试可降至 2C4G（资源紧张时仍建议至少 2C4G/20GB 磁盘）。容器运行时推荐 containerd 1.6+ 或 Docker 20.10+，并将 Cgroup 驱动统一为 systemd。
- 内核与网络：加载模块 overlay/br_netfilter，开启转发与桥接过滤；按需调优文件句柄、连接跟踪、ARP 缓存、TCP 队列等内核参数，避免高并发下出现丢包与连接耗尽。
- 必备开关：永久 禁用 Swap（生产环境不建议开启），确保 IPv4 转发 与 bridge-nf-call-iptables/ip6tables 生效，保证 Pod 网络与 Service 正常。
二 集群搭建与网络选型
- 工具链与初始化：使用 kubeadm 标准化部署，统一版本；初始化时显式指定 podSubnet/serviceSubnet，便于与 CNI 插件匹配；完成后按提示配置 kubectl。
- 容器运行时配置：以 containerd 为例，生成默认配置并将 SystemdCgroup=true，重启生效；如使用 Docker，确保与 kubelet 的 Cgroup 驱动一致。
- CNI 与入口：中小规模优先 Flannel（简单、稳定），大规模与策略控制选 Calico（BGP/网络策略），高性能与安全可观测选 Cilium（eBPF）；对外暴露推荐 Ingress Controller（如 Nginx Ingress），必要时引入 Service Mesh 做细粒度流量治理。
- 单机与轻量场景：开发/演示可用 Minikube/Kind 快速拉起单节点集群，降低环境复杂度。
三 镜像与容器安全
- 基础镜像与构建：优先 官方/可信基础镜像，采用 多阶段构建 减小体积；构建后使用 Trivy 等工具进行 镜像漏洞扫描。
- 运行时安全：容器以 非 root 用户运行，必要时通过 SecurityContext 设置 runAsNonRoot/runAsUser；将容器根文件系统设为 只读，仅对需要写入的目录做 emptyDir/tmpfs/持久卷 挂载。
- 进程与会话：每个容器 单进程 为主，日志输出到 stdout/stderr；使用 dumb-init/ tini 作为 init 进程，回收僵尸进程；避免以 systemd 方式在容器内托管业务进程。
四 资源、调度与弹性
- 资源配置：为每个容器设置合理的 requests/limits（CPU/内存），避免资源争用与“吵闹邻居”；为系统组件与关键业务预留资源，防止驱逐风暴。
- 调度策略：结合 节点亲和/反亲和、污点与容忍、拓扑分散 提升可用性与性能隔离；对延迟敏感负载设置 节点亲和，对批量任务设置 反亲和 分散压力。
- 弹性伸缩：基于 CPU/内存或自定义指标 使用 HPA 自动扩缩副本；有状态服务配合 StatefulSet 与 PodDisruptionBudget 保障滚动升级与可用性。
五 可观测性、存储与运维
- 日志与监控：应用日志 stdout/stderr 采集至集中式后端（如 Fluentd/Elasticsearch），指标用 Prometheus/Grafana 观测，结合 Loki 做低成本日志检索与可视化。
- 存储与数据：优先使用 动态供给（如 StorageClass+CSI）；本地开发可用 HostPath（仅限测试）；有状态服务规划 备份/恢复 与 容量告警。
- 高可用与容量：控制面建议 3 节点 并前置 LB；etcd 对 磁盘延迟 极其敏感，生产使用 本地 SSD/高性能云盘 并定期 快照备份；节点规模扩大时按需提升 Master 规格 与 网络/存储配额。
- 日常运维：固化 集群清单与变更记录，定期 升级小版本 与安全补丁；建立 健康检查矩阵（节点就绪、核心组件、网络连通性、DNS 解析）与 告警规则，并保留 审计日志。