centos k8s调度如何优化

优化CentOS上的Kubernetes（K8s）调度可以通过多个方面来实现，包括内核参数调整、etcd数据库优化、Kube APIServer配置以及kube-scheduler的参数调整等。以下是详细的优化步骤：

1. 内核参数调整： -增大文件句柄上限：fs.file-max=1000000

   • 配置ARP缓存大小：

     net.ipv4.neigh.default.gc_thresh1=1024
     net.ipv4.neigh.default.gc_thresh2=4096
     net.ipv4.neigh.default.gc_thresh3=8192
     

   • 允许的最大跟踪连接条目：net.netfilter.nf_conntrack_max=10485760
   • 哈希表大小：net.core.netdev_max_backlog=10000

2. etcd数据库优化：

   • 搭建高可用的etcd集群，使用etcd operator来自动管理etcd集群。
   • 配置etcd使用SSD固态盘存储。
   • 设置etcd存储限制：--quota-backend-bytes增大存储限制。

3. Kube APIServer配置：

   • 根据节点数量调整APIServer配置参数：
     • 节点数量>=3000时：

       --max-requests-inflight=3000 --max-mutating-requests-inflight=1000
       

     • 节点数量在1000-3000时：

       --max-requests-inflight=1500 --max-mutating-requests-inflight=500
       

4. kube-scheduler优化：

   • 参数优化：
     • kube-scheduler的配置文件可以通过修改/etc/kubernetes/config/kube-scheduler.yaml来进行优化。
   • 使用节点亲和性和反亲和性来优化调度策略，使相关容器尽量调度到同一节点或不同节点，减少网络延迟和提升高可用性。

5. 系统IO调度策略优化：

   • 根据存储设备类型选择合适的IO调度算法：
     • SSD硬盘：noop或deadline
     • SAS硬盘：deadline

6. 智能调度插件：

   • 使用社区提供的调度插件如Trimaran，根据实际资源利用率进行节点打分和调度，支持CPU和内存资源。

通过这些优化措施，可以显著提升Kubernetes集群的调度效率和资源利用率，确保系统在高负载情况下的稳定性和性能。