Hadoop常用的命令汇总

# Hadoop常用的命令汇总

Hadoop作为分布式系统基础架构，其命令行工具是日常运维和开发的核心手段。本文将分类整理HDFS、YARN和MapReduce的常用命令，并附典型使用场景说明。

## 一、HDFS文件操作命令

### 1. 基础文件管理
```bash
# 查看目录内容
hadoop fs -ls /path/to/dir

# 创建目录
hadoop fs -mkdir /new_dir

# 递归创建多级目录
hadoop fs -mkdir -p /a/b/c

# 上传本地文件到HDFS
hadoop fs -put localfile /hdfs/path

# 下载HDFS文件到本地
hadoop fs -get /hdfs/file localfile

2. 文件操作进阶

# 查看文件内容（适合小文件）
hadoop fs -cat /file.txt

# 合并多个HDFS文件到本地
hadoop fs -getmerge /hdfs/dir/* merged_local.txt

# 查看文件尾部内容
hadoop fs -tail /large_file.log

# 设置文件副本数
hadoop fs -setrep -w 3 /important_file

二、YARN资源管理命令

1. 应用管理

# 提交MapReduce作业
yarn jar hadoop-mapreduce-examples.jar wordcount /input /output

# 查看运行中的任务
yarn application -list

# 终止指定应用
yarn application -kill application_123456789_0001

2. 节点监控

# 查看集群节点状态
yarn node -list -all

# 检查队列资源使用
yarn queue -status default

三、MapReduce作业命令

1. 作业控制

# 查看正在运行的MR作业
mapred job -list

# 查看作业详情
mapred job -status job_id

# 终止MR作业
mapred job -kill job_id

2. 历史日志查询

# 查看已完成作业列表
mapred job -history all

# 获取作业计数器信息
mapred job -counter job_id group_name counter_name

四、系统维护命令

1. 安全模式操作

# 进入安全模式
hdfs dfsadmin -safemode enter

# 强制退出安全模式
hdfs dfsadmin -safemode leave

2. 磁盘平衡

# 启动磁盘平衡
hdfs diskbalancer -plan node1.example.com
hdfs diskbalancer -execute /system/diskbalancer/nodename.plan.json

五、实用技巧

1. 通配符操作：

hadoop fs -ls /data/2023*

1. 空间统计：

hadoop fs -du -h /user/hive/warehouse

1. 权限管理：

hadoop fs -chmod 755 /public_dir
hadoop fs -chown hive:hadoop /warehouse

注意：所有命令均需在配置好Hadoop环境变量的客户端执行，部分命令需要管理员权限。

总结

掌握这些命令可以完成90%的日常Hadoop操作。建议配合-help参数查看具体用法（如hadoop fs -help rm），实际使用时注意替换示例中的路径和参数为真实值。对于生产环境，建议通过封装脚本实现复杂操作。 “`

该文档包含约800字，采用标准的Markdown格式，包含： 1. 分级标题组织内容 2. 代码块标记命令语法 3. 重点命令的特殊说明 4. 实际应用场景提示 5. 安全操作注意事项

可根据具体Hadoop版本调整命令细节，建议保存为Hadoop-Commands-Cheatsheet.md文件使用。