Python中怎么处理CSV文件

CSV（Comma-Separated Values）文件是一种常见的数据存储格式，它以纯文本形式存储表格数据，每行代表一条记录，字段之间用逗号分隔。由于其简单、易读、易解析的特点，CSV文件在数据交换、数据存储等领域得到了广泛应用。Python作为一门强大的编程语言，提供了多种处理CSV文件的方式。本文将详细介绍如何在Python中处理CSV文件。

1. 使用内置的csv模块

Python标准库中的csv模块提供了处理CSV文件的功能。它支持读取、写入CSV文件，并且可以处理各种复杂的CSV格式。

1.1 读取CSV文件

使用csv.reader可以逐行读取CSV文件的内容。以下是一个简单的示例：

import csv

with open('data.csv', mode='r', encoding='utf-8') as file:
    csv_reader = csv.reader(file)
    for row in csv_reader:
        print(row)

在这个示例中，csv.reader将CSV文件的每一行解析为一个列表，列表中的每个元素对应一个字段。

1.2 写入CSV文件

使用csv.writer可以将数据写入CSV文件。以下是一个简单的示例：

import csv

data = [
    ['Name', 'Age', 'City'],
    ['Alice', '24', 'New York'],
    ['Bob', '30', 'Los Angeles'],
    ['Charlie', '22', 'Chicago']
]

with open('output.csv', mode='w', encoding='utf-8', newline='') as file:
    csv_writer = csv.writer(file)
    for row in data:
        csv_writer.writerow(row)

在这个示例中，csv.writer将列表中的每一行写入CSV文件。

1.3 处理包含标题行的CSV文件

如果CSV文件包含标题行，可以使用csv.DictReader和csv.DictWriter来处理。csv.DictReader将每一行解析为一个字典，字典的键是标题行的字段名，值是对应的字段值。csv.DictWriter则可以将字典写入CSV文件。

以下是一个示例：

import csv

# 读取包含标题行的CSV文件
with open('data_with_header.csv', mode='r', encoding='utf-8') as file:
    csv_reader = csv.DictReader(file)
    for row in csv_reader:
        print(row['Name'], row['Age'], row['City'])

# 写入包含标题行的CSV文件
data = [
    {'Name': 'Alice', 'Age': '24', 'City': 'New York'},
    {'Name': 'Bob', 'Age': '30', 'City': 'Los Angeles'},
    {'Name': 'Charlie', 'Age': '22', 'City': 'Chicago'}
]

with open('output_with_header.csv', mode='w', encoding='utf-8', newline='') as file:
    fieldnames = ['Name', 'Age', 'City']
    csv_writer = csv.DictWriter(file, fieldnames=fieldnames)
    csv_writer.writeheader()
    for row in data:
        csv_writer.writerow(row)

1.4 处理不同的分隔符

有时CSV文件可能使用其他字符作为分隔符，例如制表符（\t）或分号（;）。可以通过csv.reader和csv.writer的delimiter参数来指定分隔符。

以下是一个示例：

import csv

# 读取使用分号分隔的CSV文件
with open('data_semicolon.csv', mode='r', encoding='utf-8') as file:
    csv_reader = csv.reader(file, delimiter=';')
    for row in csv_reader:
        print(row)

# 写入使用制表符分隔的CSV文件
data = [
    ['Name', 'Age', 'City'],
    ['Alice', '24', 'New York'],
    ['Bob', '30', 'Los Angeles'],
    ['Charlie', '22', 'Chicago']
]

with open('output_tab.csv', mode='w', encoding='utf-8', newline='') as file:
    csv_writer = csv.writer(file, delimiter='\t')
    for row in data:
        csv_writer.writerow(row)

2. 使用pandas库

pandas是Python中一个强大的数据处理库，它提供了更高级的CSV文件处理功能。pandas可以轻松处理大型数据集，并且支持各种复杂的数据操作。

2.1 读取CSV文件

使用pandas.read_csv可以快速读取CSV文件并将其转换为DataFrame对象。以下是一个简单的示例：

import pandas as pd

df = pd.read_csv('data.csv')
print(df)

pandas.read_csv支持多种参数，例如sep（指定分隔符）、header（指定标题行）、index_col（指定索引列）等。

2.2 写入CSV文件

使用pandas.DataFrame.to_csv可以将DataFrame对象写入CSV文件。以下是一个简单的示例：

import pandas as pd

data = {
    'Name': ['Alice', 'Bob', 'Charlie'],
    'Age': [24, 30, 22],
    'City': ['New York', 'Los Angeles', 'Chicago']
}

df = pd.DataFrame(data)
df.to_csv('output_pandas.csv', index=False)

index=False参数表示不将行索引写入CSV文件。

2.3 处理缺失值

pandas提供了强大的缺失值处理功能。可以使用dropna删除包含缺失值的行，或使用fillna填充缺失值。

以下是一个示例：

import pandas as pd

df = pd.read_csv('data_with_missing.csv')
df.dropna(inplace=True)  # 删除包含缺失值的行
df.fillna(0, inplace=True)  # 将缺失值填充为0

2.4 数据筛选与排序

pandas支持对数据进行筛选和排序。可以使用布尔索引进行筛选，使用sort_values进行排序。

以下是一个示例：

import pandas as pd

df = pd.read_csv('data.csv')
filtered_df = df[df['Age'] > 25]  # 筛选年龄大于25的记录
sorted_df = df.sort_values(by='Age', ascending=False)  # 按年龄降序排序

3. 总结

Python提供了多种处理CSV文件的方式，从简单的csv模块到强大的pandas库，开发者可以根据需求选择合适的方法。csv模块适合处理简单的CSV文件，而pandas则适合处理复杂的数据操作。无论选择哪种方式，Python都能轻松应对各种CSV文件处理任务。