如何结合其他Pandas函数使用duplicated()进行数据处理

duplicated() 是 Pandas 中的一个函数，用于检查 DataFrame 或 Series 中的重复项

1. 删除重复行：

   使用 drop_duplicates() 函数可以直接删除 DataFrame 中的重复行。这个函数会返回一个新的 DataFrame，其中不包含重复项。你可以选择只保留第一次出现的重复项，或者只保留最后一次出现的重复项。

   import pandas as pd
   
   # 创建一个包含重复数据的 DataFrame
   data = {'A': [1, 2, 2, 3], 'B': [4, 5, 5, 6]}
   df = pd.DataFrame(data)
   
   # 删除重复行，只保留第一次出现的重复项
   df_no_duplicates = df.drop_duplicates()
   
   # 删除重复行，只保留最后一次出现的重复项
   df_no_duplicates_last = df.drop_duplicates(keep='last')
   

2. 根据特定列查找重复项：

   你可以使用 duplicated() 函数来查找 DataFrame 中特定列的重复项。例如，如果你想要找到列 ‘A’ 中的重复值，可以这样做：

   import pandas as pd
   
   # 创建一个包含重复数据的 DataFrame
   data = {'A': [1, 2, 2, 3], 'B': [4, 5, 5, 6]}
   df = pd.DataFrame(data)
   
   # 查找列 'A' 中的重复项
   duplicates = df.duplicated(subset=['A'])
   
   # 打印重复项的布尔值
   print(duplicates)
   

3. 根据多个列查找重复项：

   要根据多个列查找重复项，只需将这些列名作为列表传递给 duplicated() 函数的 subset 参数。例如，如果你想要找到同时在列 ‘A’ 和 ‘B’ 中有重复值的行，可以这样做：

   import pandas as pd
   
   # 创建一个包含重复数据的 DataFrame
   data = {'A': [1, 2, 2, 3], 'B': [4, 5, 5, 6]}
   df = pd.DataFrame(data)
   
   # 查找列 'A' 和 'B' 中的重复项
   duplicates = df.duplicated(subset=['A', 'B'])
   
   # 打印重复项的布尔值
   print(duplicates)
   

4. 使用 duplicated() 结果进行筛选：

   你可以将 duplicated() 函数的结果与布尔索引结合起来，以仅选择重复的行或非重复的行。例如，要选择所有重复的行，可以这样做：

   import pandas as pd
   
   # 创建一个包含重复数据的 DataFrame
   data = {'A': [1, 2, 2, 3], 'B': [4, 5, 5, 6]}
   df = pd.DataFrame(data)
   
   # 查找重复项
   duplicates = df.duplicated()
   
   # 选择重复的行
   duplicate_rows = df[duplicates]
   
   # 打印重复的行
   print(duplicate_rows)
   

通过结合 Pandas 的其他函数，你可以轻松地使用 duplicated() 对数据进行处理。