cdh之调整YARN（调优yarn 生产必做优化项）004

2019/3/26 星期二
调整YARN
本主题仅适用于YARN群集，并介绍如何为群集调整和优化YARN。
注意：下载Cloudera YARN调整电子表格以帮助计算YARN配置。 有关简短视频概述，请参阅调整YARN应用程序。
概观
此概述提供YARN群集的抽象描述和YARN调整的目标。

YARN群集由主机组成。 主机提供内存和CPU资源。 vcore或虚拟核心是主机CPU的使用份额。

调整YARN主要包括在工作主机上最佳地定义容器。 您可以将容器视为由内存和vcores组成的矩形图。 容器执行任务。

有些任务使用大量内存，对大量数据的处理最少。
其他任务需要大量处理能力，但使用的内存较少。例如，蒙特卡罗模拟评估许多可能的“如果？”场景在相对较小的数据集上使用大量处理能力。

YARN ResourceManager分配内存和vcores以尽可能以最有效的方式使用所有可用资源。理想情况下，很少或没有资源闲置。

应用程序是由一个或多个任务组成的YARN客户端程序。通常，任务使用容器中的所有可用资源。任务不能超过其指定的分配，确保它不能使用所有主机CPU周期或超过其内存分配。

通过将容器配置为使用除开销和其他服务所需的所有可用资源之外，调整YARN主机以优化vcores和内存的使用。

YARN调整有三个阶段。这些阶段对应于YARN调整电子表格中的选项卡。

    1、群集配置，您可以在其中配置主机。
    2、YARN配置，您可以量化内存和vcores。
    3、MapReduce配置，您可以为特定map和reduce任务分配最小和最大资源。

YARN和MapReduce具有许多可配置的属性。有关完整列表，请参阅Cloudera Manager配置属性。 YARN调整电子表格列出了这些属性的基本子集，这些属性最有可能提高常见MapReduce应用程序的性能。

群集配置
在Cluster Configuration选项卡中，您可以为YARN实现定义工作主机配置和群集大小。

机器配置
第1步：工作者主机配置 //表格中写单个主机配置
在下面的输入框中输入您可能的机器配置。 如果您不确定您计划购买哪种机器，请提供一些适合您预期购买的最小值。
与任何系统一样，可用的内存和CPU资源越多，集群处理大量数据的速度就越快。 具有4个带超线程的CPU的机器，每个CPU有6个内核，每个主机提供48个vcore。

2个单元服务器安装中的3 TB硬盘驱动器在JBOD（Just a Bunch Of Disks）配置中有12个可用插槽，这是在创建电子表格时性能和价格之间的合理平衡。 存储成本会随着时间的推移而降低，因此您可能会考虑使用4 TB磁盘。 较大的磁盘价格昂贵，并非所有用例都需要。

两个1千兆位以太网端口在电子表格发布时提供了足够的吞吐量，但10千兆位以太网端口是价格低于速度的选择。

第2步：工人主持人计划
现在您已从步骤1获得基本主机配置，请使用下表将资源（主要是CPU和内存）分配给在主机上运行的各种软件组件。
从您的操作系统开始至少8 GB，为Cloudera Manager开始至少1 GB。 如果CDH以外的服务需要其他资源，请在“其他服务”下添加这些数字。

HDFS DataNode使用至少1个内核和大约1 GB内存。 相同的要求适用于YARN NodeManager。
电子表格列出了几个可选服务：

     Impala守护程序需要至少16 GB的守护程序。
     HBase Region Servers需要12-16 GB的内存。
     Solr服务器至少需要1 GB的内存。
     Kudu平板电脑服务器至少需要1 GB的内存。

任何剩余资源都可用于YARN应用程序（Spark和MapReduce）。 在此示例中，有44个CPU内核可用。 在每个物理核心上设置所需的vcores乘数，以计算总可用vcores。

第3步：群集大小
定义了群集中每个主机的规范后，输入支持业务案例所需的工作主机数。 要了解并行计算的好处，请将主机数设置为最小值10。
YARN配置

在YARN Configuration选项卡上，验证可用资源并设置每个容器的最小和最大限制。

第4步：在群集上配置YARN
这些是群集的第一组配置值。 您可以在YARN-> Configuration中设置这些值
步骤4和5：验证设置
步骤4从步骤2中提取内存和vcore编号。
步骤5显示群集的总内存和vcores。
转到资源管理器Web UI（通常是http：// <ResourceManagerIP>：8088 /并验证“内存总计”和“Vcores Total”与上面的值匹配。如果您的机器没有坏节点，那么数字应该完全匹配。

步骤6：验证群集上的容器设置
为了让YARN作业干净地运行，您需要配置容器属性。
在步骤6中，您可以更改影响容器大小的值。
最小vcores数应为1.当需要额外的vcores时，一次添加1将导致最有效的分配。 将vcore预留的最大数量设置为节点的大小。
设置内存的最小和最大预留。 增量应该是可以影响性能的最小量。 这里，最小值约为1 GB，最大值约为8 GB，增量为512 MB。

步骤6A：集群容器容量
本节将告诉您群集的容量（就容器而言）。
步骤6A允许您根据输入的数字验证群集中容器的最小和最大数量。
最大可能容器数，基于内存配置
最大可能容器数，基于vcore配置
基于每个磁盘轴2个容器的容器编号
根据内存配置，最小可能容器数
根据vcore配置，最小可能容器数

步骤6B：容器健全检查
本节将针对主机在STEP 6中对容器参数进行一些基本检查。

MapReduce配置
在MapReduce Configuration选项卡上，您可以规划增加的特定于任务的内存容量。
第7步：MapReduce配置
对于CDH 5.5及更高版本，我们建议仅为map和reduce任务指定堆或容器大小。 未指定的值将根据设置mapreduce.job.heap.memory-mb.ratio计算。 此计算遵循Cloudera Manager并根据比率和容器大小计算堆大小。
步骤7A：MapReduce完整性检查
完整性检查MapReduce设置对容器的最小/最大属性。
通过步骤7A，您可以一目了然地确认所有最小和最大资源分配都在您设置的参数范围内。

连续调度
启用或禁用连续调度会更改YARN连续或基于节点心跳调度的频率。 对于较大的群集（超过75个节点）看到繁重的YARN工作负载，建议通常使用以下设置禁用连续调度：

     yarn.scheduler.fair.continuous-scheduling-enabled应为false
     yarn.scheduler.fair.assignmultiple应该是真的

在大型群集上，连续调度可能导致ResourceManager无响应，因为连续调度会遍历群集中的所有节点。

有关连续调度调优的更多信息，请参阅以下知识库文章：FairScheduler使用assignmultiple调整和连续调度

我们没有75个节点，设置为yarn.scheduler.fair.continuous-scheduling-enabled 为true
yarn.scheduler.fair.assignmultiple = true

小结：
yarn中容器内存的计算方法
yarn.nodemanager.resource.memory-mb
容器虚拟 CPU 内核
yarn.nodemanager.resource.cpu-vcores
//这2个值是更具最后用到的资源剩下来 多少给yarn的
提示:如果yarn.nodemanager.resource.memory-mb=2G yarn.nodemanager.resource.cpu-vcores=2 4个节点那么在192.168.0.142:8088/cluster 界面上就会有 “Memory Total=8G” “ VCores Total=8”

最小容器内存
yarn.scheduler.minimum-allocation-mb = 1G //推荐值
最小容器虚拟 CPU 内核数量
yarn.scheduler.minimum-allocation-vcores = 1 //推荐值
最大容器内存
yarn.scheduler.maximum-allocation-mb = < yarn.nodemanager.resource.memory-mb
最大容器虚拟 CPU 内核数量
yarn.scheduler.maximum-allocation-vcores = < yarn.nodemanager.resource.cpu-vcores //推荐值
容器内存增量
yarn.scheduler.increment-allocation-mb = 512M
容器虚拟 CPU 内核增量
yarn.scheduler.increment-allocation-vcores = 1 //推荐值

ApplicationMaster 虚拟 CPU 内核
yarn.app.mapreduce.am.resource.cpu-vcores = 1 //推荐值
ApplicationMaster 内存
yarn.app.mapreduce.am.resource.mb = 1024M
ApplicationMaster Java 选项库
yarn.app.mapreduce.am.command-opts = -Djava.net.preferIPv4Stack=true -Xmx768m

堆与容器大小之比
mapreduce.job.heap.memory-mb.ratio = 0.8 默认
Map 任务 CPU 虚拟内核
mapreduce.map.cpu.vcores = 1
Map 任务内存
mapreduce.map.memory.mb = 1024
Map 任务 Java 选项库
mapreduce.map.java.opts = 忽视 ignored
I/O 排序内存缓冲 (MiB)
mapreduce.task.io.sort.mb = 400
Reduce 任务 CPU 虚拟内核
mapreduce.reduce.cpu.vcores = 1
Reduce 任务内存
mapreduce.reduce.memory.mb = 1024M
Reduce 任务 Java 选项库
mapreduce.reduce.java.opts 忽视

Map 任务最大堆栈 819 //是 mapreduce.map.memory.mb 0.8
Reduce 任务最大堆栈 819M //mapreduce.reduce.memory.mb 0.8
ApplicationMaster Java 最大堆栈 819.2 //这个数字是yarn.app.mapreduce.am.resource.mb * 0.8得到的
链接中，有建议的值，但是我们这是测试集群，资源很小，生产集群上具体见链接最后的建议值

参考链接：
https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cdh_ig_yarn_tuning.html
CDH5性能调优 http://blog.hylstudio.cn/archives/488