怎样清理centos重复文件

在CentOS系统中清理重复文件可以通过多种方法实现，以下是一些常用的步骤和工具：

方法一：使用fdupes工具

1. 安装fdupes：

   sudo yum install fdupes
   

2. 查找重复文件：

   fdupes -r /path/to/search
   

   -r选项表示递归搜索。

3. 删除重复文件（谨慎操作）：

   fdupes -rdN /path/to/search
   

   -N选项表示只显示重复的文件名，不实际删除。 -d选项表示删除重复文件，但会保留最新的一个。 -r选项表示递归搜索。

方法二：使用find和sort命令

1. 查找并排序文件：

   find /path/to/search -type f -exec md5sum {} \; | sort
   

   这条命令会查找指定路径下的所有文件，并计算它们的MD5哈希值，然后按哈希值排序。

2. 查找重复的哈希值：

   find /path/to/search -type f -exec md5sum {} \; | sort | uniq -d -w 32
   

   -d选项表示显示重复的行，-w 32选项表示忽略前32个字符（通常是文件路径）。

3. 删除重复文件（谨慎操作）： 可以手动检查重复的文件并删除它们，或者使用脚本来自动化这个过程。

方法三：使用dedupe-cli工具

1. 安装dedupe-cli：

   sudo yum install dedupe-cli
   

2. 运行去重任务：

   dedupe-cli -d /path/to/search -m 50 -r
   

   -d指定数据目录，-m设置相似度阈值（0-100），-r表示递归搜索。

3. 查看和删除重复文件： 根据dedupe-cli的输出，选择要删除的重复文件并手动删除。

注意事项

• 在删除任何文件之前，请确保备份重要数据。
• 使用上述命令时要非常小心，特别是涉及到删除操作的部分。
• 可以先使用-N选项来预览哪些文件会被删除，确认无误后再执行删除操作。

通过以上方法，你可以有效地清理CentOS系统中的重复文件。