如何用pandas向一个csv文件追加写入数据

发布时间:2020-08-01 09:55:32 作者:小猪
来源:亿速云 阅读:1287

这篇文章主要为大家展示了如何用pandas向一个csv文件追加写入数据,内容简而易懂,希望大家可以学习一下,学习完之后肯定会有收获的,下面让小编带大家一起来看看吧。

我们越来越多的使用pandas进行数据处理,有时需要向一个已经存在的csv文件写入数据,传统的方法之前我也有些过,向txt,excel文件写入数据,传送门:Python将二维列表(list)的数据输出(TXT,Excel)

pandas to_csv()只能在新文件写数据?当然不是!

pandas to_csv() 是可以向已经存在的具有相同结构的csv文件增加dataframe数据。

df.to_csv('my_csv.csv', mode='a', header=False)

to_csv()方法mode默认为w,我们加上mode='a',便可以追加写入数据。

pandas读写文件,处理数据的效率太高了,所以我们尽量使用pandas的进行输出。

下面让我们来看一下示例

# -*- coding:utf-8 -*-
import os
import time
import pandas as pd
 
from multiprocessing import Pool
 
def merge(filename):
  return pd.read_csv('./fun_data/'+filename)
 
if __name__ == "__main__":
  file_list = os.listdir('./fun_data')
  e1 = time.time()
 
  pool = Pool(20)
  result = pool.map(merge,file_list)
  pool.close()
  pool.join()
 
  e2 = time.time()
  print(e2 - e1)
 
  for i in result:
    i.to_csv('./static.csv',mode='a',encoding='utf-8',header=False,index=False)
  e3 = time.time()
  print(e3-e2)

以上就是关于如何用pandas向一个csv文件追加写入数据的内容,如果你们有学习到知识或者技能,可以把它分享出去让更多的人看到。

推荐阅读:
  1. ava如何追加写入txt文件
  2. python如何写入数据到csv或xlsx文件

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

pandas csv

上一篇:mongodb导出数据的方法

下一篇:CCBPM工作流引擎,如下方式完成对流程的结束大总结

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》