如何加快pandas计算速度

小编给大家分享一下如何加快pandas计算速度，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

什么问题困扰我们？

使用pandas，当您运行以下行时：

# Standard apply

df.apply(func)

得到这个CPU使用率：

标准pandas适用 - 仅使用1个CPU

即使计算机有多个CPU，也只有一个完全专用于您的计算。

而不是下边这种CPU使用，想要一个简单的方法来得到这样的东西：

并行Pandas适用 - 使用所有CPU

Pandaral·lel 如何帮助解决这个问题？

Pandaral·lel 的想法是将pandas计算分布在计算机上所有可用的CPU上，以显着提高速度。

安装：

$ pip install pandarallel [--user]

导入和初始化：

# Import

from pandarallel import pandarallel



# Initialization

pandarallel.initialize()

用法：

使用带有pandas DataFrame的简单用例df和要应用的函数func，只需替换经典apply的parallel_apply。

# Standard pandas apply

df.apply(func)



# Parallel apply

df.parallel_apply(func)

做完了！

请注意如果不想并行化计算，仍然可以使用经典apply方法。

也可以通过将显示每个工作CPU一个进度条progress_bar=True的initialize功能。

并行应用进度条

并配有更复杂的情况下使用带有pandas DataFrame df，该数据帧的两列column1，column2和功能应用func：

# Standard pandas apply

df.groupby(column1).column2.rolling(4).apply(func)

# Parallel apply

df.groupby(column1).column2.rolling(4).parallel_apply(func)

基准

对于此处提供的四个示例，请执行以下配置：

https://github.com/nalepae/pandarallel/blob/master/docs/examples.ipynb

• 操作系统：Linux Ubuntu 16.04

• 硬件：Intel Core i7 @ 3.40 GHz - 4核

4核上的标准与并行（越低越好）

除了df.groupby.col_name.rolling.apply速度仅增加x3.2因子之外，平均速度增加约x4因子，即使用过的计算机上的核心数。

它是如何在引擎盖下工作的？

调用parallel_apply时，Pandaral·lel：

• 实例化一个Pyarrow Plasma共享内存

https://arrow.apache.org/docs/python/plasma.html

• 为每个CPU创建一个子进程，然后要求每个CPU在DataFrame的子部分上工作

• 将所有结果合并到父进程中

以上是“如何加快pandas计算速度”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注亿速云行业资讯频道！