在Linux中,可以使用uniq命令来去除文件中的重复行
sort命令对文件进行排序:sort input_file > sorted_file
这将创建一个名为sorted_file的新文件,其中包含按字母顺序排列的行。
uniq命令从排序后的文件中删除重复行:uniq sorted_file > unique_file
这将创建一个名为unique_file的新文件,其中包含去除重复行后的内容。
-i选项:uniq -i input_file > output_file
这将直接在input_file中删除重复行,并将结果保存到output_file中。如果你想覆盖原始文件,请使用-d选项:
uniq -d input_file > output_file
这将删除重复行并将结果保存到output_file中,同时保留第一个出现的重复行。