Python中如何读取和写入CSV文件

CSV（Comma-Separated Values）文件是一种常见的数据存储格式，广泛应用于数据交换和存储。Python提供了多种方法来读取和写入CSV文件，本文将详细介绍如何使用Python处理CSV文件。

1. CSV文件简介

CSV文件是一种纯文本文件，用于存储表格数据。每行代表一条记录，字段之间用逗号分隔。例如：

name,age,city
Alice,30,New York
Bob,25,Los Angeles
Charlie,35,Chicago

虽然CSV文件的扩展名通常是.csv，但有时也会使用其他扩展名，如.txt。

2. 使用csv模块读取CSV文件

Python标准库中的csv模块提供了读取和写入CSV文件的功能。以下是使用csv模块读取CSV文件的基本步骤：

2.1 打开CSV文件

首先，使用open()函数打开CSV文件。通常，我们会使用with语句来确保文件在使用后正确关闭。

import csv

with open('data.csv', mode='r', newline='', encoding='utf-8') as file:
    reader = csv.reader(file)
    for row in reader:
        print(row)

2.2 读取CSV文件内容

csv.reader()函数返回一个迭代器，每次迭代返回一行数据。每行数据是一个列表，列表中的每个元素对应一个字段。

2.3 处理CSV文件内容

你可以根据需要处理每一行数据。例如，将数据存储到列表中：

data = []
with open('data.csv', mode='r', newline='', encoding='utf-8') as file:
    reader = csv.reader(file)
    for row in reader:
        data.append(row)

2.4 读取带标题的CSV文件

如果CSV文件包含标题行，可以使用csv.DictReader()函数将每行数据转换为字典，字典的键是标题行的字段名。

with open('data.csv', mode='r', newline='', encoding='utf-8') as file:
    reader = csv.DictReader(file)
    for row in reader:
        print(row)

3. 使用csv模块写入CSV文件

3.1 打开CSV文件

使用open()函数打开CSV文件，并指定写入模式（mode='w'）。

import csv

with open('output.csv', mode='w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['name', 'age', 'city'])
    writer.writerow(['Alice', '30', 'New York'])
    writer.writerow(['Bob', '25', 'Los Angeles'])

3.2 写入CSV文件内容

csv.writer()函数返回一个写入对象，可以使用writerow()方法写入一行数据，或使用writerows()方法写入多行数据。

3.3 写入带标题的CSV文件

如果CSV文件需要包含标题行，可以使用csv.DictWriter()函数。

with open('output.csv', mode='w', newline='', encoding='utf-8') as file:
    fieldnames = ['name', 'age', 'city']
    writer = csv.DictWriter(file, fieldnames=fieldnames)
    writer.writeheader()
    writer.writerow({'name': 'Alice', 'age': '30', 'city': 'New York'})
    writer.writerow({'name': 'Bob', 'age': '25', 'city': 'Los Angeles'})

4. 使用pandas库处理CSV文件

pandas是一个强大的数据处理库，提供了更高级的CSV文件处理功能。

4.1 读取CSV文件

使用pandas.read_csv()函数读取CSV文件。

import pandas as pd

data = pd.read_csv('data.csv')
print(data)

4.2 写入CSV文件

使用pandas.DataFrame.to_csv()方法将数据写入CSV文件。

data = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [30, 25, 35],
    'city': ['New York', 'Los Angeles', 'Chicago']
})

data.to_csv('output.csv', index=False)

4.3 处理CSV文件内容

pandas提供了丰富的数据处理功能，例如筛选、排序、分组等。

# 筛选年龄大于30的记录
filtered_data = data[data['age'] > 30]
print(filtered_data)

5. 处理CSV文件中的特殊字符

5.1 处理逗号

如果CSV文件中的字段包含逗号，可以使用双引号将字段括起来。

name,age,city
"Alice, Jr.",30,"New York, NY"
Bob,25,"Los Angeles, CA"

5.2 处理换行符

如果CSV文件中的字段包含换行符，可以使用双引号将字段括起来。

name,age,city
Alice,30,"New York
NY"
Bob,25,"Los Angeles
CA"

5.3 处理引号

如果CSV文件中的字段包含引号，可以使用双引号将字段括起来，并在引号前添加一个引号。

name,age,city
"Alice ""The Boss""",30,New York
Bob,25,Los Angeles

6. 处理大型CSV文件

对于大型CSV文件，可以使用pandas的chunksize参数分块读取数据。

chunksize = 10000
for chunk in pd.read_csv('large_data.csv', chunksize=chunksize):
    process(chunk)

7. 总结

Python提供了多种方法来读取和写入CSV文件。csv模块是标准库的一部分，适合处理简单的CSV文件。pandas库提供了更强大的数据处理功能，适合处理复杂的CSV文件。根据具体需求选择合适的工具，可以高效地处理CSV文件。

通过本文的介绍，你应该已经掌握了如何在Python中读取和写入CSV文件的基本方法。希望这些内容对你有所帮助！