Hadoop常用命令有哪些

这篇文章将为大家详细讲解有关Hadoop常用命令有哪些，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

Hadoop常用命令

1. hadoop fs –ls <path> 查看hdfs的<path>目录下的内容

查看hdfs根目录：

[root@chaoren bin]# hadoop fs -ls /
Found 1 items
drwxr-xr-x   - root supergroup          0 2014-11-29 22:25 /usr

  结果等同于

[root@chaoren bin]# hadoop fs -ls hdfs://chaoren:9000/
Found 1 items
drwxr-xr-x   - root supergroup          0 2014-11-29 22:25 /usr

2. hadoop fs –lsr <path> 递归查看hdfs的<path>目录下的内容

例如：

[root@chaoren bin]# hadoop fs -lsr /usr/local
权限     副本数 用户   组     文件大小   修改日期         文件名称   
drwxr-xr-x   -   root  supergroup    0    2014-11-29 22:25  /usr/local/hadoop
drwxr-xr-x   -   root  supergroup    0    2014-11-29 22:25  /usr/local/hadoop/tmp
drwxr-xr-x   -   root  supergroup    0    2014-11-29 22:25  /usr/local/hadoop/tmp/mapred
drwx------   -    root  supergroup    0    2014-11-29 22:25  /usr/local/hadoop/tmp/mapred/system
-rw-------   1    root  supergroup    4    2014-11-29 22:25  /usr/local/hadoop/tmp/mapred/system/jobtracker.info

副本数在hdfs-site.xml中配置

<configuration>
       <!-- dfs.replication属性 默认值是3-- >
       <property>
              <name>dfs.replication</name>
              <value>1</value>
       </property>
</configuration>

   3. hadoop fs –mkdir <path> 创建目录<path>

在hdfs根目录上创建文件夹/d1

[root@chaoren bin]# hadoop fs -mkdir /d1

查看结果：

[root@chaoren bin]# hadoop fs -ls /
Found 2 items
drwxr-xr-x   - root supergroup          0 2014-11-29 22:58 /d1
drwxr-xr-x   - root supergroup          0 2014-11-29 22:25 /usr

4. hadoop fs –put <linux src> <hdfs dest> 把文件从linux的src文件上传到hdfs的dest目录中

将conf/core-site.xml上传到新创建的/dl目录中

[root@chaoren bin]# hadoop fs -put /usr/local/hadoop/conf/core-site.xml hdfs://chaoren:9000/d1

查看结果：

[root@chaoren bin]# hadoop fs -ls /d1
Found 1 items
-rw-r--r--   1 root supergroup        364 2014-11-29 23:00 /d1/core-site.xml

5. hadoop fs –get <hdfs src> <linux dest> 把文件从hdfs下载到的linux特定路径下>

下载hdfs的/d1/core-site.xml到/root/Desktop

[root@chaoren Desktop]# hadoop fs -get /d1/core-site.xml /root/Desktop

查看结果：

[root@chaoren Desktop]# cd /root/Desktop
[root@chaoren Desktop]# ll
total 4
-rw-r--r--. 1 root root 364 Nov 29 23:12 core-site.xml

6. hadoop fs –text <hdfs文件> 查看hdfs文件内容

[root@chaoren Desktop]# hadoop fs -text /d1/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
       <property>
              <name>fs.default.name</name>
              <value>hdfs://chaoren:9000</value>
       </property>
       <property>
              <name>hadoop.tmp.dir</name>
              <value>/usr/local/hadoop/tmp</value>
       </property>
</configuration>

7. hadoop fs –rm <path>    删除hdfs在的<path>文件

[root@chaoren Desktop]# hadoop fs -rm /d1/core-site.xml
Deleted hdfs://chaoren:9000/d1/core-site.xml

查看结果：

[root@chaoren Desktop]# hadoop fs -ls /d1

8. hadoop fs –rmr <path>   递归删除hdfs中<path>的文件夹及文件

[root@chaoren local]# hadoop fs -mkdir /d1/d11
[root@chaoren local]# hadoop fs -put /usr/local/hadoop/conf/h* /d1/d11
[root@chaoren local]# hadoop fs -ls /d1/d11
 
Found 4 items
-rw-r--r--   1 root supergroup       2229 2014-11-29 23:41 /d1/d11/hadoop-env.sh
-rw-r--r--   1 root supergroup       1488 2014-11-29 23:41 /d1/d11/hadoop-metrics2.properties
-rw-r--r--   1 root supergroup       4644 2014-11-29 23:41 /d1/d11/hadoop-policy.xml
-rw-r--r--   1 root supergroup        331 2014-11-29 23:41 /d1/d11/hdfs-site.xml

9. hadoop fs –cp <hdfs src> <hdfs dst> 拷贝文件或文件目录，当src是目录时，dst必须是目录

[root@chaoren local]# hadoop fs -cp /d1/d11 /d1/d12

查看结果;

[root@chaoren local]# hadoop fs -ls /d1
 
Found 2 items
drwxr-xr-x   - root supergroup          0 2014-11-29 23:41 /d1/d11
drwxr-xr-x   - root supergroup          0 2014-11-29 23:45 /d1/d12

10. hadoop fs –mv 删除

[root@chaoren local]# hadoop fs -mv /d1/d12 /d1/d13

查看结果：

[root@chaoren local]# hadoop fs -ls /d1
Warning: $HADOOP_HOME is deprecated.
 
Found 2 items
drwxr-xr-x   - root supergroup          0 2014-11-29 23:41 /d1/d11
drwxr-xr-x   - root supergroup          0 2014-11-29 23:45 /d1/d13

关于“Hadoop常用命令有哪些”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。