CentOS 部署 Kubernetes 的最佳实践
一 环境准备与系统基线
- 节点与资源：建议至少准备3台服务器（1个 Master + 2个 Node），每台至少2 CPU、2 GB 内存、30 GB 磁盘；生产环境推荐至少 4 GB 内存起步，并配置静态 IP、网关与 DNS。
- 主机名与解析：为每个节点设置唯一主机名（如 hostnamectl），并在所有节点维护**/etc/hosts**或使用内网 DNS，确保解析稳定。
- 时间同步：安装并启用 NTP/chrony，保证节点间时间一致（如 ntpdate ntp.aliyun.com 或 chrony 配置）。
- 内核与网络基线：启用 IP 转发与桥接流量进入 iptables；加载 br_netfilter 模块。示例 /etc/sysctl.d/k8s.conf：
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
执行 sysctl --system 生效。
- 安全基线：生产环境不建议直接关闭防火墙，应按需开放端口；如必须简化，可在受控网络中临时关闭 firewalld。SELinux 可设为 permissive 模式（setenforce 0，/etc/selinux/config 中 SELINUX=permissive），以降低容器运行限制。
- 交换分区：Kubelet 默认要求禁用 Swap（swapoff -a 并从 /etc/fstab 注释 swap 行）。
二 容器运行时与 k8s 组件安装
- 容器运行时：安装 Docker CE（或 containerd），使用 overlay2 存储驱动；配置 systemd 为 cgroup 驱动，便于与 kubelet 一致。示例 /etc/docker/daemon.json：
{
“exec-opts”: [“native.cgroupdriver=systemd”],
“log-driver”: “json-file”,
“log-opts”: { “max-size”: “100m” },
“storage-driver”: “overlay2”
}
重启 Docker 生效。
- 软件源与版本：添加 Kubernetes YUM 源（可选国内镜像源加速），安装 kubeadm、kubelet、kubectl 的一致版本，并启用 kubelet 开机自启。
- 启动顺序：先启动并验证容器运行时，再启动 kubelet（kubelet 会拉起控制面组件）。
三 集群初始化与网络
- 初始化控制面：在 Master 节点执行 kubeadm init，显式指定 –apiserver-advertise-address、–pod-network-cidr 与（可选）–service-cidr；国内环境可使用 –image-repository registry.aliyuncs.com/google_containers 加速镜像拉取。
- kubectl 配置：将 /etc/kubernetes/admin.conf 拷贝至 $HOME/.kube/config 并修正属主，以便本地管理集群。
- CNI 网络插件：部署 Flannel（如 kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml）或 Calico（如 kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml），确保 Pod 间网络与网络策略可用。
- 节点加入：在各 Node 执行 kubeadm join（使用 kubeadm init 输出的 token 与哈希），完成后用 kubectl get nodes 验证状态。
四 高可用与架构设计
- 控制面高可用：部署至少 3 个 Master 实例，前置 负载均衡/VIP（如 Keepalived + Nginx/Haproxy）对外暴露 apiserver 地址，避免单点。
- 数据存储高可用：etcd 至少 3 节点集群，与控制面同机房优先部署，保证一致性与可用性。
- 组件选主：kube-controller-manager 与 kube-scheduler 自身具备选主机制，多实例部署即可；关键在于 apiserver 的负载均衡入口与稳定性。
- 可用区部署：跨 多 AZ 部署可提升容灾能力，需结合云厂商负载均衡与存储方案设计拓扑。
五 安全 运维 与可观测性
- 安全与权限：启用 RBAC 进行最小权限授权；对外暴露的 apiserver 使用 TLS/CA；按需启用 Pod Security 或 PSP 替代方案；为敏感工作负载配置 NetworkPolicy 限制东西向流量。
- 镜像与系统加固：使用可信镜像仓库，定期更新系统与组件补丁；容器运行时启用日志轮转，避免磁盘被占满。
- 资源与调度：为系统组件设置 requests/limits，为关键业务配置 节点亲和/污点与容忍；部署 Metrics Server 以启用 HPA 等弹性能力。
- 可观测性：搭建 Prometheus + Grafana + Alertmanager 进行指标与告警；日志采用 EFK（Elasticsearch/Fluentd/Kibana） 或 Loki 方案集中收集分析。
- 备份与演练：定期备份 etcd 快照 与关键 Kubernetes 资源清单/Secret，并进行恢复演练验证可用性。