Pandas中如何进行数据转换与重塑

在Pandas中，数据转换和重塑是常见的操作，可以帮助你更好地分析和处理数据。以下是一些常用的方法和技巧：

数据转换

1. 数据类型转换

   • 使用astype()方法将列的数据类型转换为其他类型。

     df['column_name'] = df['column_name'].astype('float')
     

2. 缺失值处理

   • 使用fillna()方法填充缺失值。

     df['column_name'] = df['column_name'].fillna(0)  # 用0填充缺失值
     

   • 使用dropna()方法删除包含缺失值的行或列。

     df = df.dropna()  # 删除包含缺失值的行
     df = df.dropna(axis=1)  # 删除包含缺失值的列
     

3. 字符串操作

   • 使用str访问器进行字符串操作。

     df['column_name'] = df['column_name'].str.upper()  # 转换为大写
     df['column_name'] = df['column_name'].str.contains('pattern')  # 检查是否包含某个模式
     

4. 数值操作

   • 使用数学运算符进行数值操作。

     df['new_column'] = df['column1'] + df['column2']
     

5. 条件筛选

   • 使用布尔索引进行条件筛选。

     filtered_df = df[df['column_name'] > 10]
     

数据重塑

1. 转置

   • 使用T属性或transpose()方法转置DataFrame。

     transposed_df = df.T
     

2. 堆叠和拆分

   • 使用stack()方法将列索引转换为行索引。

     stacked_df = df.stack()
     

   • 使用unstack()方法将行索引转换为列索引。

     unstacked_df = df.unstack()
     

3. 透视表

   • 使用pivot_table()方法创建透视表。

     pivot_table = df.pivot_table(values='value_column', index='row_index', columns='column_index', aggfunc='mean')
     

4. 合并和连接

   • 使用merge()方法进行类似SQL的合并操作。

     merged_df = pd.merge(df1, df2, on='common_column', how='inner')
     

   • 使用concat()方法进行简单的连接操作。

     concatenated_df = pd.concat([df1, df2], axis=0)  # 垂直连接
     concatenated_df = pd.concat([df1, df2], axis=1)  # 水平连接
     

5. 分组和聚合

   • 使用groupby()方法进行分组，然后使用聚合函数。

     grouped_df = df.groupby('group_column').agg({'value_column': 'sum'})
     

6. 重塑为长格式和宽格式

   • 使用melt()方法将DataFrame转换为长格式。

     long_format_df = pd.melt(df, id_vars=['id_column'], value_vars=['value_column1', 'value_column2'])
     

   • 使用pivot()方法将DataFrame转换为宽格式。

     wide_format_df = df.pivot(index='id_column', columns='variable_column', values='value_column')
     

这些方法和技巧可以帮助你在Pandas中进行灵活的数据转换和重塑操作。根据具体的需求选择合适的方法，可以大大提高数据处理的效率。