20文件IO_csv_ini

csv、ini

csv：

配置信息，ini、xml、json（可映射为dict）；

结构化：DB，用schema来描述数据是干什么的，人可理解；

半结构化：json，html，xml，人可理解；

非结构化：video，image等二进制数据，机器理解；

结构化和半结构化数据，人可理解；

非结构化数据，机器理解；

comma separated values，逗号分隔值；

csv是一个被行分隔符、列分隔符划分成行和列的文本文件；

没有指定的字符编码，参考RFC 4180 http://www.ietf.org/rfc/rfc4180.txt；

行分隔符为\r\n，最后一行可以没有换行符；

列分隔符常为逗号或制表符；

每一行称为一条record记录；

字段可以使用双引号括起来，也可以不使用；如果字段中出现了双引号、逗号、换行符，必须用双引号括起来；如果字段的值是双引号，使用两个双引号表示一个转义（通常一个特殊字符重复两次，表示其本身）；

表头可选，和字段列对齐就行；

csv模块：

csv.reader(csvfile,dialect='excel',**fmtparams)，

**fmtparams，解字典；

返回DictReader的实例，是个行迭代器；

delimiter，列分隔符，逗号，也可用:冒号；

lineterminator，行分隔符\r\n；

quotechar，字段的引用符号，缺省为"双引号，如果使用其它符号，如^，则内容中有双引号则不用处理；

双引号的处理：

doublequote，默认为True，如果和quotechar为同一个，True则使用2个双引号表示，False表示使用转义字符将作为双引号的前缀；

excapechar，一个转义符，默认为None；

quoting，指定双引号的规则，QUOTE_ALL所有字段；QUOTE_MINIMAL默认，特殊字符字段，不冲突不加双引号，冲突加双引号；QUOTE_NONNUMERIC，非数字字段；QUOTE_NONE，都不使用双引号；

csv.writer(csvfile,dialect='excel',**fmtparams)，返回DictWriter的实例，主要方法有csv.write(f).writerow()，csv.write(f).writerows()；

例：

s = '''

1,tom,20,

2,jerry,16,

3,,,

'''

with open('test.csv','w') as f:

    for line in s.splitlines():

        f.write(line + '\n')

In [31]: cat test.csv

1,tom,20,

2,jerry,16,

3,,,

注：

结果中第一行为空白，解决办法：

1）

s = '''1,tom,20,

2,jerry,16,

3,,,

'''

2）

s = '''\   #通常用此种

1,tom,20,

2,jerry,16,

3,,,

'''

例：

from pathlib import Path

p = Path('/home/python/magedu/projects/cmdb/test1/test.csv')

parent = p.parent

#print(parent)

if not parent.exists():

    parent.mkdir(parents=True)

csv_body = '''\

1,tom,20,

2,jerry,16,

3,jowin,18,

'''

p.write_text(csv_body)

In [34]: cat test1/test.csv

1,tom,20,

2,jerry,16,

3,jowin,18,

例：

from pathlib import Path

import csv

path = '/home/python/magedu/projects/cmdb/test.csv'

p = Path(path)

if not p.parent.exists():

    p.parent.mkdir(parents=True)

line1 = [1,'tom',20,'']

line2 = [2,'jerry',18,'']

line3 = [line1,line2]

with open(path,'w') as f:

    writer = csv.writer(f)

    writer.writerow(line1)

    writer.writerow(line2)

    writer.writerows(line3)

with open(path) as f:

    reader = csv.reader(f)

    for line in reader:

        if line:

            print(line)

ini文件：

作为配置文件，ini文件格式很流行；

例：

]$ egrep -v '^#|^$|[[:space:]]' my.cnf

[client]

[mysqld]

skip-external-locking

log-bin=mysql-bin

binlog_format=mixed

[mysqldump]

quick

[mysql]

no-auto-rehash

[myisamchk]

[mysqlhotcopy]

interactive-timeout

中括号部分称为section，每一个section内，都是key=value形式的kv对，key称为option选项；

字典套字典，配置文件应独立出来，而不是放在代码中；

configparser模块的ConfigParser类：

from configparser import ConfigParser

cfg=ConfigParser()

cfg.read(filenames,encoding=None)，读取ini文件，可以是单个文件（一般仅读一个文件），也可以是文件列表，可指定文件编码；

cfg.sections()，返回section列表，缺省section不在内；

cfg.add_section(section_name)，增加一个section；

cfg.has_section(section_name)，判断section是否存在；

cfg.options(section)，返回section的所有option；

cfg.has_option(section,option)，判断section是否存在这个option；

cfg.get(section,option,*,raw=False,vars=None[,fallback])，从指定的段的选项上取值，如果找到返回，如果没有找到去找DEFAULT段有没有；

cfg.getint(section,option,raw=False,vars=None[,fallback])

cfg.getfloat(section,option,raw=False,vars=None[,fallback])

cfg.getboolean(section,option,raw=False,vars=None[,fallback])

同cfg.get()

cfg.items(raw=False,vars=None)，一般不用，没有section，则返回所有section名字及其对象；

cfg.items(section,raw=False,vars=None)，section存在的情况下，写入option=value，要求option、value必须是字符串；

cfg.remove_section(section)，移除section及其所有option；

cfg.remove_option(section,option)，移除section下的option；

cfg.write(fileobject,space_around_delimiters=True)，等号前后有无空格，取默认即可；

例：

]$ vim my.cnf

[DEFAULT]

a=test

[mysql]

default-character-set=utf8

[mysqld]

log-bin=mysql-bin

binlog_format=mixed

datadir=/mydata/data

port=3306

character-set-server=utf8

sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

In [1]: from configparser import ConfigParser

In [2]: cfg=ConfigParser()

In [3]: cfg.read('my.cnf')

Out[3]: ['my.cnf']

In [4]: cfg.sections()

Out[4]: ['mysql', 'mysqld']

In [5]: cfg.add_section('newsection')

In [6]: cfg.sections()

Out[6]: ['mysql', 'mysqld', 'newsection']

In [9]: cfg.options('mysql')

Out[9]: ['default-character-set', 'a']

In [10]: cfg.options('mysqld')

Out[10]:

['log-bin',

 'binlog_format',

 'datadir',

 'port',

 'character-set-server',

 'sql_mode',

 'a']

In [11]: for section in cfg.sections():

    ...:     for option in cfg.options(section):

    ...:         print(section,option)

    ...:        

mysql default-character-set

mysql a

mysqld log-bin

mysqld binlog_format

mysqld datadir

mysqld port

mysqld character-set-server

mysqld sql_mode

mysqld a

newsection a

In [12]: cfg.items('mysqld')

Out[12]:

[('a', 'test'),

 ('log-bin', 'mysql-bin'),

 ('binlog_format', 'mixed'),

 ('datadir', '/mydata/data'),

 ('port', '3306'),

 ('character-set-server', 'utf8'),

 ('sql_mode', 'NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES')]

In [13]: for section in cfg.sections():

    ...:     for k,v in cfg.items(section):

    ...:         print(section,k,v)

    ...:        

mysql a test

mysql default-character-set utf8

mysqld a test

mysqld log-bin mysql-bin

mysqld binlog_format mixed

mysqld datadir /mydata/data

mysqld port 3306

mysqld character-set-server utf8

mysqld sql_mode NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

newsection a test

In [14]: cfg.has_section('newsection')

Out[14]: True

In [15]: if not cfg.has_section('test'):

    ...:     cfg.add_section('test')

    ...:    

In [16]: cfg.sections()

Out[16]: ['mysql', 'mysqld', 'newsection', 'test']

In [17]: cfg.set('test','test1','123')   #往指定section里添加option=value，'123'是字符，configparser要求的

In [18]: cfg.set('test','test2','abc')

In [19]: cfg.options('test')

Out[19]: ['test1', 'test2', 'a']

In [27]: with open('my.cnf','w') as f:

    ...:     cfg.write(f)   #ini文件更多的是读取，读完后常驻内存，而不是写

    ...:    

In [28]: example=cfg.get('test','test1')

In [29]: type(example)

Out[29]: str

In [30]: example

Out[30]: '123'

In [31]: example1=cfg.getint('test','test1')   #隐藏有强制类型转换，读出后是int类型可直接用于计算

In [32]: example1

Out[32]: 123

In [33]: type(example1)

Out[33]: int

In [34]: example2=cfg.get('test','a')   #找默认段的不是强制的

In [35]: type(example2)

Out[35]: str

In [36]: example2

Out[36]: 'test'