centos中清理重复文件的技巧

在CentOS系统中，清理重复文件可以通过多种方法实现。以下是一些常用的技巧和步骤：

1. 使用fdupes工具

fdupes是一个非常强大的工具，可以用来查找和删除重复的文件。

安装fdupes

sudo yum install fdupes

查找重复文件

fdupes -r /path/to/search

-r选项表示递归搜索。

删除重复文件

fdupes -rdN /path/to/search

-d选项表示删除重复文件，-N选项表示在删除前提示确认。

2. 使用find和md5sum组合

这种方法适用于查找完全相同的文件。

查找重复文件

find /path/to/search -type f -exec md5sum {} \; | sort | uniq -w 32 -d

这个命令会生成所有文件的MD5校验和，并按校验和排序，然后使用uniq查找重复的校验和。

删除重复文件（谨慎操作）

find /path/to/search -type f -exec md5sum {} \; | sort | uniq -w 32 -d | awk '{print $3}' | xargs rm -v

这个命令会打印出重复文件的路径，并删除它们。-v选项表示详细模式，显示删除的文件。

3. 使用rdup工具

rdup是一个备份工具，但它也可以用来查找和删除重复文件。

安装rdup

sudo yum install rdup

查找重复文件

rdup -r /path/to/search --dry-run

--dry-run选项表示只模拟操作，不实际删除文件。

删除重复文件

rdup -r /path/to/search --delete

这个命令会删除重复文件。

4. 使用duplicity工具

duplicity是一个备份工具，但它也可以用来查找和删除重复文件。

安装duplicity

sudo yum install duplicity

查找重复文件

duplicity collect --no-encryption /path/to/search

这个命令会收集所有文件的哈希值，并查找重复文件。

删除重复文件（谨慎操作）

duplicity collect --no-encryption /path/to/search | duplicity remove-all-but-n-full 1 /path/to/search

这个命令会删除所有重复文件，只保留一个副本。

注意事项

• 在删除文件之前，务必备份重要数据。
• 使用fdupes和rdup时，建议先使用--dry-run选项进行模拟操作，确认无误后再实际删除文件。
• 定期清理重复文件可以节省磁盘空间，但也要注意不要误删重要文件。

通过以上方法，你可以在CentOS系统中有效地清理重复文件。