YARN常用操作有哪些

# YARN常用操作有哪些

YARN（Yet Another Resource Negotiator）是Hadoop的核心组件之一，负责集群资源管理和作业调度。掌握YARN的常用操作对于大数据开发者至关重要。本文将介绍YARN的核心操作，包括作业提交、资源管理、队列配置等。

---

## 1. YARN基础操作

### 1.1 启动/停止YARN服务
```bash
# 启动YARN服务
$ start-yarn.sh

# 停止YARN服务
$ stop-yarn.sh

1.2 检查集群状态

# 查看YARN节点状态
$ yarn node -list

# 查看集群资源使用情况
$ yarn top

2. 作业管理操作

2.1 提交MapReduce作业

$ yarn jar hadoop-mapreduce-examples.jar wordcount /input /output

2.2 查看运行中的作业

# 列出所有作业
$ yarn application -list

# 查看特定作业详情
$ yarn application -status <ApplicationID>

2.3 终止作业

$ yarn application -kill <ApplicationID>

3. 资源队列管理

3.1 查看队列信息

$ yarn queue -status <queue_name>

3.2 修改队列配置

通过修改capacity-scheduler.xml配置队列资源：

<property>
  <name>yarn.scheduler.capacity.root.queues</name>
  <value>default,prod,dev</value>
</property>

4. 日志管理

4.1 查看作业日志

# 获取容器日志
$ yarn logs -applicationId <ApplicationID>

# 查看特定容器日志
$ yarn logs -applicationId <AppID> -containerId <ContainerID>

4.2 配置日志聚合

在yarn-site.xml中启用：

<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

5. 资源调优操作

5.1 设置内存/CPU资源

# 提交作业时指定资源
$ yarn jar ... -Dmapreduce.map.memory.mb=2048 \
               -Dmapreduce.reduce.memory.mb=4096

5.2 动态资源池调整

通过ResourceManager REST API动态修改：

curl -X PUT "http://rm-address:8088/ws/v1/cluster/scheduler-conf" \
     -H "Content-Type: application/json" \
     -d '{"update-queue-config": [{"queue":"dev","capacity":"30"}]}'

6. 安全相关操作

6.1 Kerberos认证

# 获取Kerberos票据
$ kinit <username>

# 检查票据状态
$ klist

6.2 ACL权限控制

在yarn-site.xml中配置：

<property>
  <name>yarn.acl.enable</name>
  <value>true</value>
</property>

7. 常用监控命令

总结

本文涵盖了YARN的7大类核心操作： 1. 服务启停与状态检查 2. 作业生命周期管理 3. 资源队列配置 4. 日志收集与分析 5. 资源分配与调优 6. 安全认证配置 7. 实时监控命令

熟练掌握这些操作可以显著提升YARN集群管理效率。建议结合Web UI（http://resource-manager-host:8088）进行可视化监控。 “`