CentOS HDFS常用命令有哪些

在CentOS系统中，HDFS（Hadoop Distributed File System）的常用命令主要包括以下几类：

启动与停止服务

1. 启动HDFS

   start-dfs.sh
   

2. 停止HDFS

   stop-dfs.sh
   

3. 格式化NameNode（仅在首次启动或重置集群时使用）

   hdfs namenode -format
   

4. 查看HDFS状态

   hdfs dfsadmin -report
   

文件操作

1. 创建目录

   hdfs dfs -mkdir /path/to/directory
   

2. 删除目录或文件

   hdfs dfs -rm -r /path/to/directory
   hdfs dfs -rm /path/to/file
   

3. 上传文件到HDFS

   hdfs dfs -put localfile /path/to/hdfs
   

4. 从HDFS下载文件到本地

   hdfs dfs -get /path/to/hdfs localfile
   

5. 查看HDFS中的文件和目录列表

   hdfs dfs -ls /path/to/directory
   

6. 复制文件或目录

   hdfs dfs -cp /source/path /destination/path
   

7. 移动或重命名文件或目录

   hdfs dfs -mv /source/path /destination/path
   

8. 更改文件或目录的权限

   hdfs dfs -chmod 755 /path/to/file_or_directory
   

9. 更改文件或目录的所有者

   hdfs dfs -chown username:groupname /path/to/file_or_directory
   

高级操作

1. 设置副本因子

   hdfs dfs -setrep -w 3 /path/to/file
   

2. 检查文件的块信息

   hdfs fsck /path/to/file -files -blocks -locations
   

3. 查看HDFS的块报告

   hdfs dfsadmin -report
   

4. 调整HDFS配置

   • 编辑hdfs-site.xml和core-site.xml文件，然后重启HDFS服务。

监控与日志

1. 查看HDFS的NameNode和DataNode日志

   • 日志通常位于$HADOOP_HOME/logs目录下。

2. 使用Web界面监控HDFS

   • 默认情况下，NameNode的Web界面地址是http://namenode_host:50070。

其他实用命令

• 列出所有正在运行的Java进程

  jps
  

• 查找特定进程ID的进程信息

  ps -ef | grep <process_name>
  

• 杀死进程

  kill -9 <process_id>
  

注意事项

• 在执行任何可能影响集群稳定性的操作之前，请确保已备份重要数据。
• 部分命令可能需要管理员权限（使用sudo）。
• 根据实际部署情况，某些命令的路径和参数可能会有所不同。

总之，熟练掌握这些HDFS常用命令对于日常管理和维护Hadoop集群至关重要。