Pandas里怎样读取和处理CSV文件

在Pandas中，读取和处理CSV文件主要通过pandas.read_csv()函数来实现。以下是一些基本的步骤和示例：

读取CSV文件

1. 基本读取：

   import pandas as pd
   
   # 读取CSV文件
   df = pd.read_csv('filename.csv')
   

2. 指定列： 如果只想读取特定的列，可以使用usecols参数。

   df = pd.read_csv('filename.csv', usecols=['Column1', 'Column2'])
   

3. 跳过行： 使用skiprows参数可以跳过文件开头的某些行。

   df = pd.read_csv('filename.csv', skiprows=5)  # 跳过前5行
   

4. 指定分隔符： 默认情况下，Pandas使用逗号作为分隔符，但如果你的CSV文件使用其他分隔符（如制表符），可以使用sep参数。

   df = pd.read_csv('filename.csv', sep='\t')  # 使用制表符作为分隔符
   

5. 处理缺失值： 可以使用na_values参数指定哪些值应该被视为缺失值。

   df = pd.read_csv('filename.csv', na_values=['NA', 'None'])
   

处理CSV文件

1. 查看数据： 使用head()、tail()、info()和describe()等方法来查看数据的基本信息。

   print(df.head())  # 查看前5行
   print(df.tail())  # 查看后5行
   print(df.info())  # 查看数据类型和非空值数量
   print(df.describe())  # 查看数值型数据的统计信息
   

2. 选择列： 使用列名来选择特定的列。

   selected_columns = df[['Column1', 'Column2']]
   

3. 过滤数据： 使用布尔索引来过滤数据。

   filtered_df = df[df['Column1'] > 10]
   

4. 排序数据： 使用sort_values()方法对数据进行排序。

   sorted_df = df.sort_values(by='Column1', ascending=False)
   

5. 分组数据： 使用groupby()方法对数据进行分组，并应用聚合函数。

   grouped_df = df.groupby('Column1').agg({'Column2': 'mean'})
   

6. 合并数据： 使用merge()方法将两个DataFrame合并。

   merged_df = pd.merge(df1, df2, on='CommonColumn')
   

7. 保存数据： 使用to_csv()方法将DataFrame保存为CSV文件。

   df.to_csv('output_filename.csv', index=False)
   

示例

假设你有一个名为data.csv的文件，内容如下：

Name,Age,Score
Alice,25,85
Bob,30,90
Charlie,22,88

你可以这样读取和处理它：

import pandas as pd

# 读取CSV文件
df = pd.read_csv('data.csv')

# 查看前5行
print(df.head())

# 过滤年龄大于25的人
filtered_df = df[df['Age'] > 25]

# 按分数排序
sorted_df = filtered_df.sort_values(by='Score', ascending=False)

# 保存结果到新的CSV文件
sorted_df.to_csv('sorted_data.csv', index=False)

通过这些步骤，你可以轻松地读取、处理和保存CSV文件中的数据。