c# readlines如何进行数据去重

在C#中，使用ReadLine()方法从文件或流中读取行时，为了去除重复的行，你可以将每一行存储在一个集合（如HashSet）中。这样可以确保集合中的每一行都是唯一的。以下是一个简单的示例：

using System;
using System.Collections.Generic;
using System.IO;

class Program
{
    static void Main()
    {
        // 替换为你的文件路径
        string filePath = "your_file_path_here";

        HashSet<string> uniqueLines = new HashSet<string>();

        using (StreamReader reader = new StreamReader(filePath))
        {
            string line;
            while ((line = reader.ReadLine()) != null)
            {
                uniqueLines.Add(line);
            }
        }

        // 将去重后的行写入新文件
        string outputFilePath = "output_file_path_here";
        using (StreamWriter writer = new StreamWriter(outputFilePath))
        {
            foreach (string line in uniqueLines)
            {
                writer.WriteLine(line);
            }
        }
    }
}

在这个示例中，我们首先创建了一个HashSet<string>来存储唯一的行。然后，我们使用StreamReader读取文件的每一行，并将其添加到uniqueLines集合中。由于集合中的元素是唯一的，因此重复的行将被自动过滤掉。最后，我们将去重后的行写入一个新文件。