Python 怎么用生成器表达式替代列表推导节省内存？

Question

仓乃文 · Accepted Answer

列表推导 [x for x in range(10**6)] 一次性生成全部数据，百万级数据直接占满内存。生成器表达式 (x for x in range(10**6)) 惰性计算，逐个产出数据，内存占用恒定，处理大数据集时差异巨大。

对比内存占用：
```python
import sys

# 列表推导：一次性生成全部数据
nums_list = [x ** 2 for x in range(1000000)]
print(sys.getsizeof(nums_list))  # ~8.4MB

# 生成器表达式：惰性计算
nums_gen = (x ** 2 for x in range(1000000))
print(sys.getsizeof(nums_gen))   # ~200B
```

配合函数使用：
```python
# sum 不需要全部数据在内存中
total = sum(x ** 2 for x in range(1000000))

# any/all 短路求值，生成器更高效
has_large = any(x > 1000 for x in data)  # 找到就停

# 逐行处理大文件
lines = (line.strip() for line in open("big.log"))
errors = [line for line in lines if "ERROR" in line]
```

补充说明：
- 生成器表达式用圆括号 ()，列表推导用方括号 []
- 生成器只能遍历一次，遍历后耗尽
- 作为函数唯一参数时可以省略外层括号：sum(x for x in data)
- 需要多次遍历或索引访问时用列表推导
- 适合 sum/max/min/any/all/sorted 等接受可迭代对象的函数