如何用python清洗文件数据

这篇文章主要介绍“如何用python清洗文件数据”，在日常操作中，相信很多人在如何用python清洗文件数据问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”如何用python清洗文件数据”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

1、直接打开日志文件，往另外一个文件中按照要过滤的要求进行过滤。

import io;
with open('a.txt', 'w') as f:    
    for line in open('c:/201509.txt'):    
        if line.find('更改项目')>0 and line.find('500')>0:  
            f.write(line+"\n");
print("输出完成");

2、使用filter。

import io;
def isData(s):
    return s.find('更改项目')>0 and s.find('500')>0;
with open('a.txt', 'w') as f:             
       list1=list(filter(isData,open('c:/201509.txt')));    
       for (offset,item) in enumerate(list1):
            f.write(str(offset)+":"+item);

3、对多个文件进行过滤，可以借助其名称的规律，遍历文件之后。

import codecs
with codecs.open('a.txt','a', encoding='utf_8_sig') as f:
    for i in range(205,210):
        f.write(str(i)+"\r\n");   
        print(str(i));
        for line in open('c:/20160907'+str(i)+'.log', encoding='utf_8_sig'):
            if line.find('url为')>=0 :  
                print(line);
                f.write(line+"\r\n");
print("输出完成");

到此，关于“如何用python清洗文件数据”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注亿速云网站，小编会继续努力为大家带来更多实用的文章！