k8s环境下hadoop的资源调度策略有哪些

在Kubernetes（K8s）环境下，Hadoop的资源调度策略主要通过YARN（Yet Another Resource Negotiator）实现，YARN是一个资源调度和集群资源管理系统，它负责为各种应用程序分配和管理资源。以下是在K8s环境下Hadoop的关键资源调度策略：

Kubernetes资源调度策略

• 默认调度器：Kubernetes集群的默认调度器是kube-scheduler，它负责将Pod分配到集群中的节点上。kube-scheduler通过预选阶段、优选阶段和绑定阶段来决定Pod的调度位置。
• 自定义调度器：用户可以编写自己的调度器，以实现特定的调度策略，这些调度器可以与默认调度器并行运行或替换默认调度器。
• 亲和性与反亲和性：允许Pod指定对节点的偏好，或者根据其他Pod的运行位置来选择调度位置，避免与某些Pod运行在同一个节点上。
• 污点与容忍：节点可以设置污点，以防止Pod调度到该节点上；Pod可以定义容忍，以允许它们被调度到有相应污点的节点上。
• 资源配额和限制：用于管理计算资源在命名空间级别的使用，限制Pod可以使用的资源总量。
• 优先级和抢占：Pod可以设置优先级，用于在资源不足时决定哪个Pod可以被抢占。

YARN在K8s下的调度策略

• 容量调度器（Capacity Scheduler）：为不同队列分配资源，支持优先级和内存管理。
• 公平调度器（Fair Scheduler）：为每个用户建立作业池，确保作业公平共享资源，支持优先级和动态资源分配。

通过这些策略，Kubernetes和YARN能够确保Hadoop应用程序在K8s环境下高效、灵活地运行，同时满足不同的业务需求和资源管理目标。