Hadoop中的基本操作有哪些

发布时间:2021-12-09 15:43:13 作者:小新
来源:亿速云 阅读:139

这篇文章主要介绍Hadoop中的基本操作有哪些,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

    先粗略说一下“hadoop fs”和“hadoop dfs”的区别:fs是各比较抽象的层面,在分布式环境中,fs就是dfs,但在本地环境中,fs是local file system,这个时候dfs不可用。

1、列出HDFS文件:

hadoop fs –ls

    a) –ls后面不跟任何内容的话是列出HDFS的"/user/用户名/"目录下的内容

    b) 如果要列出某个文件夹中的内容,则-ls后面跟该文件夹的路径,例如列出input中的内容:

hadoop fs –ls input

2、在HDFS中创建文件夹:

hadoop fs –mkdir 文件夹的名字

    例如:

hadoop fs –mkdir input

3、删除HDFS中的文件或文件夹

hadoop fs –rmr  文件夹名或者文件名

4、上传文件到HDFS:

hadoop fs –put ~/file test

    将本机中的file文件上传到HDFS上并重命名为test。

    如果要上传到某个文件夹中,则将test改为文件夹的地址,此时,上传的文件名称不会改变,例如将本地文件

夹test中的文件test1.txt,test2.txt,test3.txt上传到HDFS中的input中:

hadoop fs –put ~/test/test*.txt input

5、查看HDFS下的某个文件:

 hadoop fs –cat 文件路径

    例如查看input中的test文件的内容:

hadoop fs –cat input/test

6、将HDFS中的文件复制到本地系统中:

hadoop fs –get HDFS中的文件名本地系统中的文件名 本地存放地址

    例如:将HDFS中的output文件复制到本地系统Documents文件夹中

hadoop fs –get output /home/kevin/Documents/

7、进入/退出安全模式

    有时,在hadoop启动时不能对文件系统进行如创建文件,删除文件之类的操作,此时,文件系统所处的状 态叫做安全模式,用途大家可以到网上搜一搜,笔者不在这里赘述(由于笔者属于初学者,HDFS上的东西还不多,节点也不多,所以笔者一般开启Hadoop后,不管有没有在安全模式,先输退出安全模式的命令)。

hadoop dfsadmin –safemode enter
hadoop dfsadmin –safemode leave

以上是“Hadoop中的基本操作有哪些”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注亿速云行业资讯频道!

推荐阅读:
  1. linux的基本操作有哪些
  2. Java执行hadoop的基本操作实例代码

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

hadoop

上一篇:Hadoop的优势是什么

下一篇:hadoop系统参数如何优化

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》