如何使用python实现列表去重

# 如何使用Python实现列表去重

在Python编程中，列表去重是常见的数据处理需求。本文将介绍5种高效的实现方法，并分析它们的适用场景。

## 方法一：使用set()转换（最简洁）

```python
original_list = [1, 2, 2, 3, 4, 4]
unique_list = list(set(original_list))

优点： - 代码简洁，一行实现 - 执行速度快（O(n)时间复杂度）

缺点： - 不保持原始顺序 - 仅适用于可哈希元素

方法二：字典fromkeys()（保持顺序）

unique_list = list(dict.fromkeys(original_list))

特点： - 保持元素首次出现的顺序 - Python 3.6+版本有效 - 同样要求元素可哈希

方法三：列表推导式+not in判断

unique_list = []
[unique_list.append(x) for x in original_list if x not in unique_list]

适用场景： - 需要兼容不可哈希元素 - 保持原始顺序 - 小规模数据（O(n²)时间复杂度）

方法四：使用collections.OrderedDict

from collections import OrderedDict
unique_list = list(OrderedDict.fromkeys(original_list))

优势： - 显式保证顺序一致性 - 兼容Python 3.6以下版本

方法五：pandas.unique()（大数据量）

import pandas as pd
unique_list = pd.unique(original_list).tolist()

特点： - 适合处理大规模数据 - 支持非哈希类型 - 需要安装pandas库

性能对比（10万数据测试）

总结建议

1. 简单去重无需保序 → 首选set()
2. 需要保持顺序 → 选择dict.fromkeys()
3. 处理不可哈希对象 → 使用列表推导式
4. 超大数据集 → 考虑pandas方案

根据实际需求选择最适合的方法，可以显著提升代码效率和可读性。 “`