Node.js stream.pipeline 怎么安全地处理流式数据转发？

Question

仓乃文 · Accepted Answer

用 pipe() 连接流时，如果目标流出错，源流不会被销毁，导致内存泄漏和资源未释放。stream.pipeline 自动管理流的完整生命周期，任何一步出错都会销毁所有流并回调错误，是生产环境流式处理的推荐方式。

pipe 的问题：
```javascript
// 危险：目标流出错时源流不会被销毁
fs.createReadStream("big.zip")
  .pipe(zlib.createGzip())
  .pipe(fs.createWriteStream("out.gz"));
// 如果写入失败，读取流和压缩流仍在运行，内存泄漏
```

pipeline 的安全写法：
```javascript
const { pipeline } = require("stream");

pipeline(
  fs.createReadStream("big.zip"),
  zlib.createGzip(),
  fs.createWriteStream("out.gz"),
  (err) => {
    if (err) {
      console.error("流转发出错:", err);
      // 所有流已自动销毁，无内存泄漏
    } else {
      console.log("完成");
    }
  }
);
```

Promise 版本：
```javascript
const { pipeline } = require("stream/promises");

await pipeline(
  fs.createReadStream("big.zip"),
  zlib.createGzip(),
  fs.createWriteStream("out.gz")
);
console.log("完成");
```

补充说明：
- pipeline 是 Node.js 10+ 引入的，stream/promises 在 Node.js 15+ 可用
- 处理大文件上传/下载/压缩时务必用 pipeline 替代 pipe
- pipeline 会在出错时自动调用所有流的 destroy() 方法
- 也可以用 stream.finished() 监听单个流的完成或错误
- 5GB 文件用 pipeline 内存占用约 65MB，而 readFile 会占 5GB