在Linux中,可以使用uniq
命令来去除文件中的重复行
sort
命令对文件进行排序:sort input_file > sorted_file
这将创建一个名为sorted_file
的新文件,其中包含按字母顺序排列的行。
uniq
命令从排序后的文件中删除重复行:uniq sorted_file > unique_file
这将创建一个名为unique_file
的新文件,其中包含去除重复行后的内容。
-i
选项:uniq -i input_file > output_file
这将直接在input_file
中删除重复行,并将结果保存到output_file
中。如果你想覆盖原始文件,请使用-d
选项:
uniq -d input_file > output_file
这将删除重复行并将结果保存到output_file
中,同时保留第一个出现的重复行。