Python中的set之所以效率高，主要有以下几个原因：
- 无序性：set是无序的数据结构，这意味着在添加、删除或遍历元素时，不需要考虑元素的顺序。这种无序性使得set在处理大量数据时能够更加高效，因为它避免了因顺序而产生的额外开销。
- 唯一性：set中的元素必须是唯一的，不允许重复。这使得set在检查元素是否存在、删除重复元素等方面非常高效。相比于list等数据结构，set可以更快地判断一个元素是否已经存在，以及更快地删除重复元素。
- 哈希表实现：Python中的set底层是通过哈希表（hash table）来实现的。哈希表是一种以键值对形式存储数据的数据结构，它通过哈希函数将键映射到数组的索引上。这种数据结构在插入、删除和查找元素时具有非常高的效率，时间复杂度接近O(1)。因此，set在处理大量数据时能够提供非常高的性能。
- 自动去重：由于set中的元素必须是唯一的，因此在添加元素时，如果该元素已经存在于set中，它会自动被忽略。这种自动去重的特性使得set在处理数据集时能够更加高效，因为它避免了因重复元素而产生的额外开销。
综上所述，Python中的set之所以效率高，主要是因为它具有无序性、唯一性、哈希表实现以及自动去重等特性。这些特性使得set在处理大量数据时能够提供非常高的性能，成为Python中一种非常重要的数据结构。