linux去重命令怎么操作

在Linux中，可以使用uniq命令来去除文件中的重复行

1. 删除连续重复行：

uniq 文件名

例如，如果你有一个名为file.txt的文件，其中包含以下重复行：

apple
banana
apple
orange
banana

运行uniq file.txt后，你将得到一个不包含连续重复行的文件：

apple
banana
orange

2. 删除所有重复行：

要删除所有重复行，你需要先创建一个已排序的文件，然后将其与原始文件合并。这是一个示例：

sort 文件名 > 排序后的文件名
uniq 排序后的文件名 > 去重后的文件名

例如，如果你有一个名为file.txt的文件，你可以按照以下步骤操作：

sort file.txt > sorted_file.txt
uniq sorted_file.txt > unique_file.txt

这将创建一个名为unique_file.txt的文件，其中包含不重复的行：

apple
banana
orange

请注意，这种方法可能会更改行的顺序。如果你需要保留原始顺序，可以使用以下命令：

awk '!seen[$0]++' 文件名 > 去重后的文件名

例如：

awk '!seen[$0]++' file.txt > unique_file.txt

这将创建一个名为unique_file.txt的文件，其中包含不重复的行，并保持原始顺序：

apple
banana
orange