Ubuntu系统Awk的文本去重方法

在Ubuntu系统中，可以使用Awk工具来进行文本去重。以下是一个简单的示例：

假设有一个文本文件data.txt包含重复的行，可以使用以下命令去重并输出结果：

awk '!seen[$0]++' data.txt

解释：

• !seen[$0]++是一个Awk语句，用来判断当前行是否已经被处理过。如果当前行在数组seen中不存在，则输出，并将该行保存到数组seen中；如果已经存在，则不输出。
• data.txt是要处理的文本文件。

运行以上命令后，将输出去重后的文本内容。