Linux命令行实现文件去重处理

在 Linux 命令行中，可以使用 uniq 命令来去除文件中的重复行

假设你有一个名为 input.txt 的文件，内容如下：

apple
banana
apple
orange
banana

要使用 uniq 命令去除重复行，你可以将输出重定向到一个新文件 output.txt：

uniq input.txt > output.txt

现在，output.txt 文件的内容应该是：

apple
banana
orange

如果你想直接在原文件上去除重复行，可以使用 -c 选项并加上 --nocheck-order 选项（这是默认行为），如下所示：

uniq -c --nocheck-order input.txt > temp_file && mv temp_file input.txt

这将会修改 input.txt 文件，去除重复行。现在文件内容应该是：

apple
banana
orange