Python 如何快速读取大文件？

Question

Python 如何快速读取大文件？

仓乃文 · Accepted Answer

Python 读取大文件不能使用 read() 或 readlines() 一次性加载，推荐使用迭代器逐行读取，内存占用恒定。

逐行读取（推荐，内存友好）：
```python
with open("large_file.log", "r", encoding="utf-8") as f:
    for line in f:  # 迭代器逐行读取，不会一次性加载
        if "ERROR" in line:
            print(line.strip())
```

指定块大小读取（二进制文件）：
```python
with open("large_file.bin", "rb") as f:
    while chunk := f.read(8192):  # 每次读 8KB
        process(chunk)  # 逐块处理
```

使用 mmap 内存映射（极致性能）：
```python
import mmap

with open("large_file.txt", "r+b") as f:
    with mmap.mmap(f.fileno(), 0) as mm:
        for line in iter(mm.readline, b""):
            print(line.decode().strip())
```

补充说明：
- for line in f 是 Python 读取大文件的最佳实践
- readlines() 会一次性加载所有行到内存，大文件会 OOM
- mmap 将文件映射到虚拟内存，操作系统负责分页，性能最优
- 编码问题：二进制模式用 rb，文本模式指定 encoding