HDFS资源调度策略有哪些

HDFS的资源调度策略主要包括以下几种：

1. 容量调度器（Capacity Scheduler）：

   • 特点：容量调度器维护多个队列，采用深度优先算法，优先给分配资源少的队列。如果某个队列资源紧张，其它队列资源闲置，闲置的资源会借给紧张的队列。如果闲置队列提交了任务，会将借出去的资源拿回来处理自己的任务。
   • 适用场景：适用于需要优先处理某些关键任务，同时又要保证整体资源利用率的任务。

2. 公平调度器（Fair Scheduler）：

   • 特点：公平调度器注重公平性，每个任务都会参与分配队列的资源。新提交的任务会先获得一点资源，然后随着运行时间，资源慢慢回归，再补齐资源。
   • 适用场景：适用于需要保证所有任务公平获取资源的场景。

3. FIFO（先进先出）调度器：

   • 特点：按照任务提交的顺序进行调度，先提交的任务先被执行。
   • 适用场景：适用于任务处理时间相对均匀，且对实时性要求不高的场景。

4. 数据本地性调度：

   • 特点：尽量将计算任务调度到数据所在的节点上执行，以减少网络传输的开销。
   • 适用场景：适用于需要高性能计算和低延迟的场景。

5. 机架感知调度：

   • 特点：考虑节点的物理位置，尽量将数据块副本放置在不同的机架上，以提高容错性和数据访问性能。
   • 适用场景：适用于大规模数据中心，需要高可用性和高扩展性的场景。