Python 怎么用多进程突破 GIL 限制处理 CPU 密集型任务？

Question

仓乃文 · Accepted Answer

Python 的 GIL（全局解释器锁）让多线程无法真正并行执行 CPU 密集型任务。multiprocessing 创建独立进程，每个进程有自己的 GIL 和内存空间，充分利用多核 CPU，CPU 密集型任务性能线性提升。

进程池：
```python
from multiprocessing import Pool
import os

def heavy_compute(n):
    return sum(i * i for i in range(n))

if __name__ == "__main__":
    tasks = [10**7, 10**7, 10**7, 10**7]
    with Pool(os.cpu_count()) as pool:
        results = pool.map(heavy_compute, tasks)
    print(results)
```

进程间共享数据：
```python
from multiprocessing import Process, Value, Array

def worker(counter, data):
    with counter.get_lock():
        counter.value += 1
    data[counter.value] = counter.value * 2

counter = Value("i", 0)       # 共享整数
data = Array("d", 10)         # 共享数组

processes = [Process(target=worker, args=(counter, data)) for _ in range(4)]
for p in processes:
    p.start()
for p in processes:
    p.join()
```

补充说明：
- 多进程适合 CPU 密集型任务，I/O 密集型用多线程或 asyncio 更高效
- 进程间内存不共享，通信需要 Queue、Pipe、Value、Array 等
- 必须在 if __name__ == "__main__" 下创建进程池（Windows 要求）
- 进程创建开销比线程大，短任务用进程池复用
- concurrent.futures.ProcessPoolExecutor 是更现代的接口