Ubuntu下Awk的文本去重与去空行

可以使用Awk命令来对文本进行去重和去空行操作。以下是在Ubuntu下使用Awk命令进行文本去重和去空行的示例：

1. 文本去重：

awk '!seen[$0]++' file.txt

这个命令会读取文件file.txt中的每一行，然后使用数组seen来记录已经出现过的行。如果是第一次出现的行，则打印该行，否则跳过。

2. 去空行：

awk NF file.txt

这个命令会读取文件file.txt中的每一行，然后使用NF变量来判断每一行是否有字段。如果有字段（非空行），则打印该行。

在实际使用中，可以根据具体的需求选择去重或去空行的命令。以上两个命令都可以在Ubuntu终端中直接运行。