Pandas怎么读取大文件

# Pandas怎么读取大文件

## 引言

在数据分析工作中，我们经常需要处理大型数据集。当CSV或Excel文件达到GB级别时，直接使用`pd.read_csv()`或`pd.read_excel()`可能会导致内存不足或性能问题。本文将介绍Pandas中高效读取大文件的6种实用技巧。

## 1. 分块读取（Chunking）

最常用的方法是分块处理，通过`chunksize`参数控制每次加载的行数：

```python
chunk_size = 100000  # 每块10万行
chunks = pd.read_csv('large_file.csv', chunksize=chunk_size)

for chunk in chunks:
    # 对每个数据块进行处理
    process(chunk)

优点： - 内存占用稳定 - 支持流式处理 - 可配合tqdm显示进度条

2. 指定数据类型（dtype）

自动类型推断会消耗额外内存，提前指定dtype可减少40%-70%内存使用：

dtypes = {
    'user_id': 'int32',
    'price': 'float32',
    'category': 'category'
}
df = pd.read_csv('large_file.csv', dtype=dtypes)

技巧： - 用'category'类型处理低基数字符串列 - 优先使用int8/16/32代替int64 - 用float32代替float64

3. 只加载必要列

通过usecols参数筛选需要的列：

cols = ['date', 'user_id', 'amount']  # 只加载这三列
df = pd.read_csv('large_file.csv', usecols=cols)

内存节省效果与剔除的列数成正比，在列数很多时特别有效。

4. 使用更高效的格式

考虑将原始CSV转换为这些格式：

转换示例：

df = pd.read_csv('large.csv')
df.to_parquet('large.parquet')  # 转换后文件通常小60%

5. 使用Dask替代Pandas

当数据超过内存容量时，可以使用Dask：

import dask.dataframe as dd

ddf = dd.read_csv('very_large_*.csv')
result = ddf.groupby('category').sum().compute()

特点： - 类Pandas API - 支持分布式计算 - 自动分块处理

6. 使用SQL数据库

对于超大数据（TB级），建议先导入数据库：

from sqlalchemy import create_engine

engine = create_engine('postgresql://user:pass@localhost/db')
# 分块读取并写入数据库
for chunk in pd.read_csv('huge.csv', chunksize=100000):
    chunk.to_sql('table', engine, if_exists='append')

后续可通过SQL查询或pd.read_sql()按需读取。

性能对比测试

使用5GB CSV文件测试不同方法：

最佳实践建议

1. 预处理阶段：先用pd.read_csv(nrows=1000)查看数据特征
2. 内存监控：处理时用df.memory_usage(deep=True)检查内存占用
3. 迭代优化：先尝试dtype和usecols，再考虑分块或格式转换
4. 超大数据：考虑使用Spark或Dask等分布式工具

结语

处理大文件时没有银弹，需要根据数据特征、硬件条件和处理需求选择合适的方法。通常组合使用dtype优化、列筛选和分块处理就能解决大多数问题。当数据量持续增长时，建议转向更专业的工具如Dask或PySpark。

注意：所有代码示例均在Pandas 1.3+版本测试通过，不同版本可能存在API差异。 “`

这篇文章包含了约980字，采用Markdown格式编写，包含： - 6种核心方法详解 - 代码示例和参数说明 - 性能对比表格 - 实际应用建议 - 结构化标题层级 可根据需要进一步扩展具体案例或添加性能优化细节。