Python高级技巧之怎么用一行代码减少一半内存占用

本篇内容介绍了“Python高级技巧之怎么用一行代码减少一半内存占用”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

图片的结果

下面我来解释一下，它是如何运行的。

首先，我们考虑一个简单的 "learning" 例子，创建一个 Dataltem  类，该类是一个人的个人信息，例如姓名，年龄，地址等。

class DataItem(object):     def __init__(self, name, age, address):         self.name = name         self.age = age         self.address = address

初学者的问题：如何知道一个以上这样的对象占用多少内存？

首先，让我们试着解决一下：

d1 = DataItem("Alex", 42, "-")  print ("sys.getsizeof(d1):", sys.getsizeof(d1))

我们得到的答案是 56bytes，这似乎占用了很少的内存，相当满意喽。那么，我们在尝试另一个包含更多数据的对象例子：

d2 = DataItem("Boris", 24, "In the middle of nowhere")  print ("sys.getsizeof(d2):", sys.getsizeof(d2))

答案仍然是 56bytes，此刻，似乎我们意识到哪里有些不对？并不是所有的事情都第一眼所见那样。

•  直觉不会让我们失望，一切都不是那么简单。Python 是一种具有动态类型的非常灵活的语言，对于它的工作，它存储了大量的附加数据。它们本身占据了很多。

例如，sys.getsizeof("") 返回 33bytes，是的一个多达 33 个字节的空行！并且 sys.getsizeof(1) 返回 24bytes，一个整个数字占用 24 个 bytes (我想咨询 C 语言程序员，远离屏幕，不想在进一步阅读，以免对美观失去信心)。对于更复杂的元素，如字典，sys.getsizeof(.()) 返回 272 字节，这是针对空字典的，我不会再继续了，我希望原理是明确的，并且 RAM 的制造商需要出售他们的芯片。

但是，我们回到我们的 DataItem 类和最初的初学者的疑惑。

这个类，占多少内存？

首先，我们一小写的形式将这个类的完整内容输出：

def dump(obj):   for attr in dir(obj):     print("  obj.%s = %r" % (attr, getattr(obj, attr)))

这个函数将显示隐藏的“幕后”使所有 Python 函数（类型、继承和其他内容）都能够正常工作的内容。

结果令人印象深刻：

这一切内容占用多少内存？

下边有一个函数可以通过递归的方式，调用 getsizeof 函数，计算对象实际数据量。

def get_size(obj, seen=None):     # From      # Recursively finds size of objects     size = sys.getsizeof(obj)     if seen is None:         seen = set()     obj_id = id(obj)     if obj_id in seen:         return 0  # Important mark as seen *before* entering recursion to gracefully handle     # self-referential objects     seen.add(obj_id)     if isinstance(obj, dict):       size += sum([get_size(v, seen) for v in obj.values()])       size += sum([get_size(k, seen) for k in obj.keys()])     elif hasattr(obj, '__dict__'):       size += get_size(obj.__dict__, seen)     elif hasattr(obj, '__iter__') and not isinstance(obj, (str, bytes, bytearray)):       size += sum([get_size(i, seen) for i in obj])     return size

让我们试一试：

d1 = DataItem("Alex", 42, "-")  print ("get_size(d1):", get_size(d1))  d2 = DataItem("Boris", 24, "In the middle of nowhere")  print ("get_size(d2):", get_size(d2))

我们获得的答案分别为 460bytes 和 484bytes，这结果似乎是真实的。

使用这个函数，你可以进行一系列的实验。例如，我想知道如果 DataItem 结构放在列表中，数据将占用多少空间。get_size ([d1]) 函数返回 532bytes ,显然，这与上面说的 460+ 的开销相同。但是 get_size ([d1, d2]) 返回 863bytes ,小于以上的 460 + 484。get_size ([d1, d2, d1]) 的结果更有趣——我们得到了 871 字节，只是稍微多一点，也就是说 Python 足够聪明，不会再次为同一个对象分配内存。

现在，我们来看一看问题的第二部分。

是否存在减少内存开销的可能呢？

是的,可以的。Python 是一个解释器，我们可以在任何时候扩展我们的类，例如，添加一个新的字段:

d1 = DataItem("Alex", 42, "-")  print ("get_size(d1):", get_size(d1))  d1.weight = 66  print ("get_size(d1):", get_size(d1))

非常好，但是如果我们不需要这个功能呢？我们能强制解释器来指定类的列表对象使用 __slots__ 命令：

class DataItem(object):     __slots__ = ['name', 'age', 'address']    def __init__(self, name, age, address):         self.name = name        self.age = age         self.address = address

更多信息可以在文档 (RTFM) 中找到，其中写到 “__ dict__和__weakref__”。使用 __dict__ 节省的空间非常大”。

我们确认：是的，确实很重要，get_size (d1) 返回 …64 字节，而不是 460 字节，即少 7 倍。另外，创建对象的速度要快 20% (请参阅本文的第一个屏幕截图)。

唉，真正使用如此大的内存增益并不是因为其他开销。通过简单地添加元素，创建一个 100,000 的数组，并查看内存消耗:

data = []  for p in range(100000):     data.append(DataItem("Alex", 42, "middle of nowhere"))  snapshot = tracemalloc.take_snapshot()  top_stats = snapshot.statistics('lineno')  total = sum(stat.size for stat in top_stats)  print("Total allocated size: %.1f MB" % (total / (1024*1024)))

我们不使用 __slots__ 占用内存 16.8MB，使用时占用 6.9MB。这个操作当然不是最好的，但是确实代码改变的最小的。（Not 7 times of course, but it’s not bad at all, considering that the code change was minimal.）

现在的缺点。激活 __slots__ 禁止所有元素的创建,包括 __dict__ ,这意味着,例如,一下代码将结构转换成 json 将不运行:

def toJSON(self):         return json.dumps(self.__dict__)

这个问题很容易修复,它是足以产生 dict 编程方式,通过所有元素的循环:

def toJSON(self):         data = dict()         for var in self.__slots__:             data[var] = getattr(self, var)         return json.dumps(data)

也不可能动态给这个类添加新类变量,但是在这个例子中,这并不是必需的。

今天的最后一个测试。有趣的是整个程序需要多少内存。添加一个无限循环的程序,以便它不结束,看看 Windows 任务管理器中的内存消耗。

没有 __slots__:

6.9Mb 变成 27Mb … 好家伙, 毕竟, 我们节省了内存, 27Mb 代替 70 ，对于增加一行代码来说并不是一个坏的例子

注意：TraceMelc 调试库使用了许多附加内存。显然，她为每个创建的对象添加了额外的元素。如果关闭它，总的内存消耗将少得多，截屏显示两个选项：

如果你想节省更多的内存呢？

这可以使用 numpy 库，它允许您以 C 样式创建结构，但是在我的例子中，它需要对代码进行更深入的细化，并且第一种方法就足够了。

奇怪的是在 Habré 从来没有详细分析使用 __slots__, 我希望本文将填补这一空缺。

“Python高级技巧之怎么用一行代码减少一半内存占用”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站，小编将为大家输出更多高质量的实用文章！