您好,登录后才能下订单哦!
这篇文章将为大家详细讲解有关Hadoop命令怎么用,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
用法:
hadoop [--config confdir] [--loglevel loglevel] [COMMAND] [GENERIC_OPTIONS]
[COMMAND_OPTIONS]
| 字段 | 描述 | 
| --config confdir | 覆盖默认配置目录。默认目录是${HADOOP_HOME}/conf | 
| --loglevel loglevel | 覆盖日志级别。有效值:FATAL、ERROR、WARN、INFO、DEBUG和TRACE。默认为INFO。 | 
| GENERIC_OPTIONS | 支持多个命令的options集合 | 
| COMMAND_OPTIONS | Hadoop子项目的各种命令的options集合 | 
Generic Options
| GENERIC_OPTIONS | 描述 | 
| -archives | Specify comma separated archives to be unarchived on the compute machines. Applies only to job. | 
| -conf | 指定一个应用程序的配置文件 | 
| -D = | 使用指定属性值 | 
| -files | 指定逗号分隔的文件列表复制到MapReduce集群。只应用于任务。 | 
| -jt or | 指定ResourceManager。只应用于任务。 | 
| -libjars | 指定逗号分隔的jar文件包括在classpath中。应用于任务。 | 
所有这些命令从hadoop shell command执行。它们被分为用户命令和管理员命令。
Hadoop集群用户使用的命令。
archive
创建hadoop归档。
checknative
用法:hadoop checknative [-a] [-h]
| COMMAND_OPTION | 描述 | 
| -a | 检测所有类库是否可用 | 
| -h | 打印帮助 | 
该命令检测Hadoop本地代码有效性。默认,该命令只检测libhadoop有效性。
classpath
用法:
用法:hadoop classpath [--glob |--jar <path> |-h |--help]
| COMMAND_OPTION | 描述 | 
| --glob | 执行通配符 | 
| --jar | 指定jar名称 | 
| -h |--help | 打印帮助 | 
打印需要获取的Hadoop jar和必须类库的classpath。如果没有参数,那么打印整个
classpath。额外选项打印通配符扩展后面的classpath或写classpath到jar文件的清单文件
中。
credential
用法:
hadoop credential <subcommand> [options]
| COMMAND_OPTION | 描述 | 
| create alias [-provider provider-path] | 提示用户证书存储为指定别名。core-site.xml文件中的 hadoop.security.credential.provider.path将被使用除非提供-provider参数。 | 
| delete alias [-provider provider-path] [-f] | 使用指定别名删除证书。core-site.xml文件中的 hadoop.security.credential.provider.path 将被使用,除非指定-provider。指定-f选项系统会询问你是否确认执行命令。 | 
| list [-provider provider-path] | 列出所有的证书别名。core-site.xml的 hadoop.security.credential.provider.path 将被使用,除非指定-provider。 | 
命令管理在证书提供商中管理证书、密码和秘钥。
Hadoop的CredentialProvider API允许将应用程序和它们需要的密码/秘钥分开存储。为了指定
特殊提供商的类型和位置,用户必须在core-site.xml文件中设置
hadoop.security.credential.provider.path配置元素或使用命令行选项-provider。该提供商
路径是一个逗号分隔的表示提供商类型和位置的URL列表。例如:
user:///,jceks://file/tmp/test.jceks,jceks://hdfs@nn1.example.com/my/path
/test.jceks
表示当前用户的证书文件通过User Provider获取,本地文件系统位于/tmp/test.jceks是Java
Keystore Provider,HDFS文件系统中的nn1.example.com/my/path/test.jceks也是Java
Keystore Provider。
当利用证书命令,它将提供密码或秘钥给特定证书存储提供商。为了明确指定提供商存储位置
使用-provider选项。否则,指定多个提供商,第一个非瞬时的提供商被使用。
例子:
hadoop credential list -provider jceks://file/tmp/test.jceks
distcp
递归复制文件和目录。
fs
等价于HDFS中的hdfs dfs命令。
jar
用法:
hadoop jar <jar> [mainClass] args...
运行jar文件。
使用yarn jar加载YARN应用程序。
key
通过KeyProvider管理键。
trace
浏览和修改Hadoop追踪设置。
version
用法:
hadoop version
打印版本。
classname
用法:
hadoop CLASSNAME
运行类名CLASSNAME的类。
Hadoop集群管理员使用的命令。
daemonlog
用法:
hadoop daemonlog -getlevel <host:httpport> <classname>
hadoop daemonlog -setlevel <host:httpport> <classname> <level>
| COMMAND_OPTION | 描述 | 
| -getlevel | 打印运行在后台host:httpport以完全限定类名定义的日志的级别。该命令内部链接http:///logLevel?log= | 
| -setlevel | 设置运行在后台host:httpport以完全限定类名定义的日志的级别。该命令内部链接http:///logLevel?log=&level= | 
关于“Hadoop命令怎么用”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。