Python Notes39:读大文件

Demo

I'm Groooooot

几乎所有人都知道，在 Python 里读取文件有一种"标准做法"：首先使用 with open(fine_name) 上下文管理器的方式获得一个文件对象，然后使用 for 循环迭代它，逐行获取文件里的内容。 下面是一个使用这种"标准做法"的简单示例函数： 假如我们有一个文件 small_file.txt ，那么使用这个函数可以轻松计算出 9 的数量。 # small_file.txt feiowe9322nasd9233rl aoeijfiowejf8322kaf9a # OUTPUT: 3 print(count_nine('small_file.txt')) 为什么这种文件读取方式会成为标准？这是因为它有两个好处： with 上下文管理器会自动关闭打开的文件描述符 在迭代文件对象时，内容是一行一行返回的，不会占用太多内存 但这套标准做法并非没有缺点。如果被读取的文件里，根本就没有任何换行符，那么上面的第二个好处就不成立了。 当代码执行到 for line in file 时，line 将会变成一个非常巨大的字符串对象，消耗掉非常可观的内存。 让我们来做个试验：有一个 5GB 大的文件 big_file.txt，它里面装满了和 small_file.txt 一样的随机字符串。只不过它存储内容的方式稍有不同，所有的文本都被放在了同一行里： 如果我们继续使用前面的 count_nine 函数去统计这个大文件里 9 的个数。那么在我的笔记本上，这个过程会足足花掉 65 秒，并在执行过程中吃掉机器 2GB 内存 为了解决这个问题，我们需要暂时把这个"标准做法"放到一边，使用更底层的

https://lovemma.github.io/posts/python-%E5%A6%82%E4%BD%95%E6%B5%81%E5%BC%8F%E8%AF%BB%E5%8F%96%E5%A4%A7%E6%96%87%E4%BB%B6/

def count_nine(fname):
    """计算文件里包含多少个数字 '9'
    """
    count = 0
    with open(fname) as file:
        for line in file:
            count += line.count('9')
    return count

feiowe9322nasd9233rl
aoeijfiowejf8322kaf9a


print(count_nine('small_file.txt'))

1. with 上下文管理器会自动关闭打开的文件描述符

2. 在迭代文件对象时，内容是一行一行返回的，不会占用太多内存

标准做法的缺点

df2if283rkwefh... <剩余 5GB 大小> ...

使用 read 方法分块读取

def count_nine_v2(fname):
    """计算文件里包含多少个数字 '9'，每次读取 8kb
    """
    count = 0
    block_size = 1024 * 8
    with open(fname) as fp:
        while True:
            chunk = fp.read(block_size)

            if not chunk:
                break
            count += chunk.count('9')
    return count

利用生成器解耦代码

def chunked_file_reader(fp, block_size=1024 * 8):
    """生成器函数：分块读取文件内容
    """
    while True:
        chunk = fp.read(block_size)

        if not chunk:
            break
        yield chunk


def count_nine_v3(fname):
    count = 0
    with open(fname) as fp:
        for chunk in chunked_file_reader(fp):
            count += chunk.count('9')
    return count

def chunked_file_reader(file, block_size=1024 * 8):
    """生成器函数：分块读取文件内容，使用 iter 函数
    """


    for chunk in iter(partial(file.read, block_size), ''):
        yield chunk