Hadoop命令怎么用

发布时间:2021-11-08 14:32:56 作者:小新
来源:亿速云 阅读:320

这篇文章将为大家详细讲解有关Hadoop命令怎么用,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

用法:

hadoop [--config confdir] [--loglevel loglevel] [COMMAND] [GENERIC_OPTIONS]

[COMMAND_OPTIONS]

字段描述
--config confdir覆盖默认配置目录。默认目录是${HADOOP_HOME}/conf
--loglevel loglevel覆盖日志级别。有效值:FATAL、ERROR、WARN、INFO、DEBUG和TRACE。默认为INFO。
GENERIC_OPTIONS支持多个命令的options集合
COMMAND_OPTIONSHadoop子项目的各种命令的options集合

Generic Options

GENERIC_OPTIONS描述
-archivesSpecify comma separated archives to be unarchived on the compute machines. Applies only to job.
-conf指定一个应用程序的配置文件
-D =使用指定属性值
-files指定逗号分隔的文件列表复制到MapReduce集群。只应用于任务。
-jt or指定ResourceManager。只应用于任务。
-libjars指定逗号分隔的jar文件包括在classpath中。应用于任务。

1    Hadoop公共命令

所有这些命令从hadoop shell command执行。它们被分为用户命令和管理员命令。

1.1    用户命令

Hadoop集群用户使用的命令。

archive

创建hadoop归档。

checknative

用法:hadoop checknative [-a] [-h]

COMMAND_OPTION描述
-a检测所有类库是否可用
-h打印帮助

该命令检测Hadoop本地代码有效性。默认,该命令只检测libhadoop有效性。

classpath

用法:

用法:hadoop classpath [--glob |--jar <path> |-h |--help]

COMMAND_OPTION描述
--glob执行通配符
--jar指定jar名称
-h |--help打印帮助

打印需要获取的Hadoop jar和必须类库的classpath。如果没有参数,那么打印整个

classpath。额外选项打印通配符扩展后面的classpath或写classpath到jar文件的清单文件

中。

credential

用法:

hadoop credential <subcommand> [options]

COMMAND_OPTION描述
create alias [-provider provider-path]提示用户证书存储为指定别名。core-site.xml文件中的 hadoop.security.credential.provider.path将被使用除非提供-provider参数。
delete alias [-provider provider-path] [-f]使用指定别名删除证书。core-site.xml文件中的 hadoop.security.credential.provider.path 将被使用,除非指定-provider。指定-f选项系统会询问你是否确认执行命令。
list [-provider provider-path]列出所有的证书别名。core-site.xml的 hadoop.security.credential.provider.path 将被使用,除非指定-provider。

命令管理在证书提供商中管理证书、密码和秘钥。

Hadoop的CredentialProvider API允许将应用程序和它们需要的密码/秘钥分开存储。为了指定

特殊提供商的类型和位置,用户必须在core-site.xml文件中设置

hadoop.security.credential.provider.path配置元素或使用命令行选项-provider。该提供商

路径是一个逗号分隔的表示提供商类型和位置的URL列表。例如:

user:///,jceks://file/tmp/test.jceks,jceks://hdfs@nn1.example.com/my/path

/test.jceks

表示当前用户的证书文件通过User Provider获取,本地文件系统位于/tmp/test.jceks是Java

Keystore Provider,HDFS文件系统中的nn1.example.com/my/path/test.jceks也是Java

Keystore Provider。 

当利用证书命令,它将提供密码或秘钥给特定证书存储提供商。为了明确指定提供商存储位置

使用-provider选项。否则,指定多个提供商,第一个非瞬时的提供商被使用。

例子:

hadoop credential list -provider jceks://file/tmp/test.jceks

distcp

递归复制文件和目录。

fs

等价于HDFS中的hdfs dfs命令。

jar

用法:

hadoop jar <jar> [mainClass] args... 

运行jar文件。

使用yarn jar加载YARN应用程序。

key

通过KeyProvider管理键。

trace

浏览和修改Hadoop追踪设置。

version

用法:

hadoop version 

打印版本。

classname

用法:

 hadoop CLASSNAME

运行类名CLASSNAME的类。

1.2    管理员命令

Hadoop集群管理员使用的命令。

daemonlog

用法:

hadoop daemonlog -getlevel <host:httpport> <classname>

hadoop daemonlog -setlevel <host:httpport> <classname> <level>

COMMAND_OPTION描述
-getlevel打印运行在后台host:httpport以完全限定类名定义的日志的级别。该命令内部链接http:///logLevel?log=
-setlevel设置运行在后台host:httpport以完全限定类名定义的日志的级别。该命令内部链接http:///logLevel?log=&level=

关于“Hadoop命令怎么用”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。

推荐阅读:
  1. Hadoop常用的命令
  2. hadoop fs命令怎么用

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

hadoop

上一篇:怎么解决oracle错误

下一篇:Oracle VPD的相关功能有哪些

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》