文件操作

和其它编程语言一样，Python 也具有操作文件（I/O）的能力，比如打开文件、读取和追加数据、插入和删除数据、关闭文件、删除文件等。

除了提供文件操作基本的函数之外，Python 还提供了很多模块，例如 OS 模块块等，通过引入这些模块，我们可以获得大量实现文件操作可用的函数和方法。

按文件中数据的组织形式把文件分为文本文件和二进制文件两类。

• 文本文件：文本文件存储的是常规字符串，由若干文本行组成，通常每行以换行符'\n'结尾。常规字符串是指记事本或其他文本编辑器能正常显示、编辑并且人类能够直接阅读和理解的字符串，如英文字母、汉字、数字字符串。文本文件可以使用字处理软件如gedit、记事本进行编辑。
• 二进制文件：二进制文件把对象内容以字节串(bytes)进行存储，无法用记事本或其他普通字处理软件直接进行编辑，通常也无法被人类直接阅读和理解，需要使用专门的软件进行解码后读取、显示、修改或执行。常见的如图形图像文件、音视频文件、可执行文件、资源文件、各种数据库文件、各类office文档等都属于二进制文件。

文件基本操作

文件内容操作三步走：打开、读写、关闭。

文件的应用级操作可以分为以下 3 步，每一步都需要借助对应的函数实现：

打开文件

使用 open() 函数，该函数会返回一个文件对象。

open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, losefd=True, opener=None)

• file参数指定了被打开的文件名称。
• mode参数指定了打开文件后的处理方式。
• buffering参数指定了读写文件的缓存模式。0表示不缓存，1表示缓存，如大于1则表示缓冲区的大小。默认值-1表示由系统管理缓存。
• encoding参数指定对文本进行编码和解码的方式，只适用于文本模式，可以使用Python支持的任何格式，如GBK、utf8、CP936等等。

如果执行正常，open()函数返回1个文件对象，通过该文件对象可以对文件进行读写操作。如果指定文件不存在、访问权限不够、磁盘空间不足或其他原因导致创建文件对象失败则抛出异常。

f1 = open('file1.txt', 'r')     # 以读模式打开文件
f2 = open('file2.txt', 'w')      # 以写模式打开文件

文件打开方式

对已打开文件做读/写操作

读取文件内容可使用 read()、readline() 以及 readlines() 函数；向文件中写入内容，可以使用 write() 函数。

关闭文件

完成对文件的读/写操作之后，最后需要关闭文件，可以使用 close() 函数。

当对文件内容操作完以后，一定要关闭文件对象，这样才能保证所做的任何修改都确实被保存到文件中。

f1.close()

但是，即使写了关闭文件的代码，也无法保证文件一定能够正常关闭。例如，如果在打开文件之后和关闭文件之前发生了错误导致程序崩溃，这时文件就无法正常关闭。

上下文管理关键字with

如果我们开发的程序 在进行文件读写之后，忘记使用close方法关闭文件， 就可能造成意想不到的问题。我们可以使用with语句打开文件，像这样，就不需要我们调用close方法关闭文件。 Python解释器会帮我们调用文件对象的close方法,而程序员不需要主动调用close。

with语句的用法如下：

with open(filename, mode, encoding) as fp:
    #这里写通过文件对象fp读写文件内容的语句

上下文管理语句with还支持下面的用法：

with open('test.txt', 'r') as src, open('test_new.txt', 'w') as dst:
    dst.write(src.read())

使用 with as 语句，即便最终没有关闭文件，修改文件内容的操作也能成功。

文件对象常用属性

文件对象常用方法

文件操作模块

os模块

在自动化测试中,经常需要查找操作文件,比如查找配置文件(从而读取配置文件的信息),查找测试报告等等,经常会对大量文件和路径进行操作,这就需要依赖os模块。

os模块常用的文件操作函数

os.path常用的文件操作函数

shutil模块

shutil 模块里面有很多目录文件操作的函数。

二进制文件操作

文本文件通常用来保存肉眼可见的字符，比如 .txt 文件、.c 文件、.dat 文件等，用文本编辑器打开这些文件，我们能够顺利看懂文件的内容。而二进制文件通常用来保存视频、图片、音频等不可阅读的内容，当用文本编辑器打开这些文件，会看到一堆乱码，根本看不懂。

对于二进制文件，不能使用记事本或其他文本编辑软件进行正常读写，也无法通过Python的文件对象直接读取和理解二进制文件的内容。必须正确理解二进制文件结构和序列化规则，才能准确地理解二进制文件内容并且设计正确的反序列化规则。

所谓序列化，简单地说就是把内存中的数据在不丢失其类型信息的情况下转成对象的二进制形式的过程（程序的各种类型数据对象变成表示该数据对象的二进制形式这个过程称之为序列化），对象序列化后的形式经过正确的反序列化过程应该能够准确无误地恢复为原来的对象。

Python中常用的序列化模块有struct、pickle、marshal和shelve。

使用pickle模块

Python 中有个序列化过程叫作 pickle，它能够实现任意对象与文本之间的相互转化，也可以实现任意对象与二进制之间的相互转化。也就是说，pickle 可以实现 Python 对象的存储及恢复。

pickle 模块提供了以下 4 个函数供我们使用：

• dumps()：将 Python 中的对象序列化成二进制对象，并返回；
• loads()：读取给定的二进制对象数据，并将其转换为 Python 对象；
• dump()：将 Python 中的对象序列化成二进制对象，并写入文件；
• load()：读取指定的序列化数据文件，并返回对象。

以上这 4 个函数可以分成两类，其中 dumps 和 loads 实现基于内存的 Python 对象与二进制互转；dump 和 load 实现基于文件的 Python 对象与二进制互转。

使用struct模块

使用struct模块读取二进制文件。

import struct

with open('sample_struct.dat', 'rb') as fp:
    sn = fp.read(9)
    tu = struct.unpack('if?', sn) 
    print(tu)
    n, x, bl = tu
    print('n=', n)
    print('x=', x)
    print('bl=', bl)
    s = fp.read(9).decode()
    print('s=', s)

>>> import struct
>>> struct.pack('if?', 13000, 56.0, True)
b'\xc82\x00\x00\x00\x00`B\x01'
>>> len(_)
9
>>> len(struct.pack('if?', 9999, 5336.0, False))
9
>>> x = 'a1@中国'
>>> len(x.encode())
9

使用shelve序列化

Python标准库shelve也提供了二进制文件操作的功能，可以像字典赋值一样来写入二进制文件，也可以像字典一样读取二进制文件。

>>> import shelve
>>> zhangsan = {'age':38, 'sex':'Male', 'address':'SDIBT'}
>>> lisi = {'age':40, 'sex':'Male', 'qq':'1234567', 'tel':'7654321'}
>>> with shelve.open('shelve_test.dat') as fp:
    fp['zhangsan'] = zhangsan      # 像操作字典一样把数据写入文件
    fp['lisi'] = lisi
    for i in range(5):
        fp[str(i)] = str(i)

>>> with shelve.open('shelve_test.dat') as fp:
        print(fp['zhangsan'])                 #读取并显示文件内容
        print(fp['zhangsan']['age'])
        print(fp['lisi']['qq'])
        print(fp['3'])

{'sex': 'Male', 'address': 'SDIBT', 'age': 38}
38
1234567
3

使用marshal序列化

Python标准库marshal也可以进行对象的序列化和反序列化。

>>> import marshal                              #导入模块
>>> x1 = 30                                     #待序列化的对象
>>> x2 = 5.0
>>> x3 = [1, 2, 3]
>>> x4 = (4, 5, 6)
>>> x5 = {'a':1, 'b':2, 'c':3}
>>> x6 = {7, 8, 9}
>>> x = [eval('x'+str(i)) for i in range(1,7)]  #把待序列化对象放到列表中
>>> x
[30, 5.0, [1, 2, 3], (4, 5, 6), {'a': 1, 'b': 2, 'c': 3}, {8, 9, 7}]
>>> with open('test.dat', 'wb') as fp:          #创建二进制文件
    marshal.dump(len(x), fp)                    #先写入对象个数
    for item in x:
        marshal.dump(item,fp) 

>>> with open('test.dat', 'rb') as fp:    #打开二进制文件
    n = marshal.load(fp)                  #获取对象个数
        for i in range(n):
            print(marshal.load(fp))       #反序列化，输出结果

30
5.0
[1, 2, 3]
(4, 5, 6)
{'a': 1, 'b': 2, 'c': 3}
{8, 9, 7}

目录操作

os模块常用的目录操作函数

>>> import os
>>> os.getcwd()                         #返回当前工作目录
'C:\\Python35'
>>> os.mkdir(os.getcwd()+'\\temp')      #创建目录
>>> os.chdir(os.getcwd()+'\\temp')      #改变当前工作目录
>>> os.getcwd()
'C:\\Python35\\temp'
>>> os.mkdir(os.getcwd()+'\\test')
>>> os.listdir('.')
['test']
>>> os.rmdir('test')                    #删除目录
>>> os.listdir('.')
[]