yarn调度器 fair schedule（Yarn调度器Fair Schedule的优势和应用）

Yarn调度器Fair Schedule的优势和应用

Yarn是Hadoop 2.x中的一个可以让用户自定义MapReduce作业、Spark、Storm、Impala、Tez、Hive等计算引擎的资源管理系统。Yarn支持多种调度器，其中最流行的调度器之一是Fair Schedule调度器。Fair Schedule调度器的特点就是资源公平分配，不同任务按照比例分配资源，从而达到资源不被浪费的目的。

什么是Fair Schedule调度器

Fair Schedule调度器是一种公平的资源调度器，特点是希望同样的机会使用资源。当集群资源有限时，Fair Schedule调度器希望所有的应用都可以获得相等的资源机会。如果一个应用需要的资源不够，调度器会提高其优先级，以便其他应用特别是那些占用太多资源和时间的应用需要拥有更多的可用资源。Fair Schedule调度器的另一个特点是它可以为任务设置最大和最小限制，并在各自的范围内分配资源，这意味着最小化任务资源浪费，使集群资源利用率最大化。

Fair Schedule调度器的应用场景

对于需要的资源较少的任务，比如说HBase的RegionServer或Namenode节点，Fair Schedule调度器可以轻松地调配资源，更容易达到公平分配资源的要求。因为这些任务总的运行时间很短，它们不会长时间占用多余的资源。而对于需要占用一定时间和资源的大型作业，如MapReduce作业，Fair Schedule调度器同样适用。通过合理分配资源，可以更快地完成大型作业。此外，Fair Schedule调度器还可用于为不同流程分配资源，例如多个Storm流程之间。

Fair Schedule调度器与其他调度器比较

简单而言，Fair Schedule调度器与Capacity Schedule调度器以及默认的FIFO（先进先出）调度器有一点相似。但是，Fair Schedule调度器在与其他调度器的比较中具有自己的优势。与Capacity Schedule不同，Fair Schedule调度器实现了一种公平分配资源的方法，没有资源被浪费。与FIFO调度器相比，Fair Schedule调度器可以根据不同的任务要求来调整各种任务之间的优先级顺序。总体而言，Fair Schedule调度器是一种适合各种大小和类型作业的调度器，它通过资源的公平分配可以保证集群的稳定性，并且可以在最小化资源时实现集群的最大化利用率。