linux

如何用Linux清理重复文件

小樊
44
2025-06-01 19:35:08
栏目: 智能运维

在Linux中,可以使用一些命令行工具来清理重复的文件。以下是一些常用的方法:

方法一:使用fdupes

fdupes是一个用于查找和删除重复文件的工具。

  1. 安装fdupes

    sudo apt-get install fdupes  # Debian/Ubuntu
    sudo yum install fdupes      # CentOS/RHEL
    sudo dnf install fdupes      # Fedora
    
  2. 查找重复文件

    fdupes -r /path/to/search
    

    -r选项表示递归搜索。

  3. 删除重复文件(谨慎操作):

    fdupes -r -N /path/to/search
    

    -N选项会在删除前提示确认。

方法二:使用findmd5sum

这种方法适用于所有Linux发行版。

  1. 创建一个临时目录来存储文件的MD5哈希值

    mkdir temp_md5
    
  2. 遍历目录并计算每个文件的MD5哈希值

    find /path/to/search -type f -exec md5sum {} \; | sort > temp_md5/md5sums.txt
    
  3. 查找重复的MD5哈希值

    awk '{print $1}' temp_md5/md5sums.txt | uniq -d | cut -d' ' -f2-
    
  4. 手动检查并删除重复文件(谨慎操作): 根据上一步的输出,手动删除重复的文件。

方法三:使用rdup

rdup是一个用于备份和清理重复文件的工具。

  1. 安装rdup

    sudo apt-get install rdup  # Debian/Ubuntu
    sudo yum install rdup      # CentOS/RHEL
    sudo dnf install rdup      # Fedora
    
  2. 配置rdup: 创建一个配置文件~/.rdup.conf,并添加以下内容:

    [main]
    backup_path = /path/to/backup
    source_path = /path/to/search
    
    [filter]
    exclude = *.tmp,*.log
    
    [dedupe]
    algorithm = md5
    
  3. 运行rdup进行去重

    rdup -v -n -r /path/to/search
    

    -v表示详细模式,-n表示模拟运行,-r表示递归搜索。

注意事项

通过以上方法,你可以有效地在Linux系统中清理重复文件。

0
看了该问题的人还看了