hadoop的常用命令介绍

# Hadoop的常用命令介绍

## 一、Hadoop概述

Apache Hadoop是一个开源的分布式计算框架，主要用于处理海量数据的存储和分析。它由HDFS（Hadoop Distributed File System）和MapReduce两大核心组件构成，能够高效地处理PB级别的数据。Hadoop生态系统还包括YARN、HBase、Hive、Pig等多个子项目，共同构成了一个强大的大数据处理平台。

在日常使用Hadoop时，熟练掌握其命令行工具是进行高效数据处理的基础。本文将详细介绍Hadoop的常用命令，涵盖HDFS文件操作、YARN资源管理、MapReduce作业控制等方面。

---

## 二、HDFS常用命令

### 1. 文件系统基础操作

#### 查看目录内容
```bash
hadoop fs -ls <path>

示例：

hadoop fs -ls /user/hadoop

创建目录

hadoop fs -mkdir <path>

递归创建多级目录：

hadoop fs -mkdir -p /user/hadoop/dir1/dir2

删除文件/目录

删除文件：

hadoop fs -rm <file_path>

递归删除目录：

hadoop fs -rm -r <directory_path>

上传/下载文件

从本地复制到HDFS：

hadoop fs -put <local_path> <hdfs_path>

从HDFS复制到本地：

hadoop fs -get <hdfs_path> <local_path>

2. 文件内容操作

查看文件内容

hadoop fs -cat <file_path>

查看文件尾部内容：

hadoop fs -tail <file_path>

合并文件到本地

hadoop fs -getmerge <hdfs_dir> <local_file>

3. 权限与属性管理

修改文件权限

hadoop fs -chmod <mode> <path>

示例：

hadoop fs -chmod 755 /user/hadoop/file.txt

修改文件所有者

hadoop fs -chown <owner>:<group> <path>

查看文件空间使用

hadoop fs -du -h <path>

---

三、YARN资源管理命令

1. 应用程序管理

列出所有运行中的应用

yarn application -list

杀死指定应用

yarn application -kill <application_id>

查看应用日志

yarn logs -applicationId <application_id>

2. 节点管理

查看集群节点状态

yarn node -list

查看节点详情

yarn node -status <node_id>

---

四、MapReduce作业控制

1. 提交MapReduce作业

hadoop jar <jar_file> <main_class> <input_path> <output_path>

示例：

hadoop jar wordcount.jar WordCount /input /output

2. 作业监控

查看所有MapReduce作业

mapred job -list

查看作业详情

mapred job -status <job_id>

终止作业

mapred job -kill <job_id>

---

五、高级管理与维护命令

1. 平衡HDFS数据

hdfs balancer -threshold 10

（threshold参数指定磁盘使用率差异阈值）

2. 安全模式操作

进入安全模式

hdfs dfsadmin -safemode enter

离开安全模式

hdfs dfsadmin -safemode leave

检查安全模式状态

hdfs dfsadmin -safemode get

3. 文件系统检查与修复

检查HDFS状态

hdfs fsck /

修复损坏块

hdfs fsck / -delete

---

六、实用技巧与最佳实践

1. 批量操作：结合xargs处理大量文件

hadoop fs -ls /data | awk '{print $8}' | xargs -I {} hadoop fs -mv {} /archive

1. 性能监控：使用hadoop dfsadmin查看集群状态

hdfs dfsadmin -report

1. 空间配额管理：

hdfs dfsadmin -setSpaceQuota 1T /user/hadoop

1. 跨集群复制：使用distcp工具

hadoop distcp hdfs://cluster1/src hdfs://cluster2/dest

---

七、常见问题排查

1. 权限拒绝错误：

   • 检查用户权限：hadoop fs -ls -d /path
   • 使用-chown和-chmod修正权限

2. 空间不足问题：

   • 检查剩余空间：hdfs dfs -df -h
   • 清理回收站：hadoop fs -expunge

3. 作业卡住：

   • 检查YARN资源：yarn application -list
   • 查看具体日志：yarn logs -applicationId <app_id>

---

八、总结

本文系统介绍了Hadoop生态系统中最常用的命令行工具，包括： - HDFS文件系统操作（约40%日常使用频率） - YARN资源管理命令（约30%使用场景） - MapReduce作业控制（约20%应用场景） - 高级管理维护命令（10%特殊情况）

掌握这些命令后，用户可以： ✓ 高效管理HDFS上的海量数据 ✓ 监控和优化集群资源使用 ✓ 提交和调试分布式计算作业 ✓ 快速定位和解决常见问题

建议读者在实际工作中结合--help参数探索更多命令选项，例如：

hadoop fs -help put
yarn application -help

注意：不同Hadoop版本命令可能略有差异，本文基于Hadoop 3.x版本编写。生产环境操作前建议先在测试集群验证命令效果。 “`

（全文约2850字，实际字数可能因Markdown渲染略有差异）