Node.js 如何流式读取大文件？

Question

Node.js 如何流式读取大文件？

仓乃文 · Accepted Answer

读取大文件（如几百 MB 的日志）不能一次性读入内存，使用 fs.createReadStream 流式读取，逐块处理，内存占用恒定。

基础流式读取：
```javascript
const fs = require("fs");

const readStream = fs.createReadStream("large-file.log", {
  encoding: "utf-8",
  highWaterMark: 64 * 1024  // 每次读取 64KB
});

readStream.on("data", (chunk) => {
  console.log("读取到数据块:", chunk.length, "字节");
  // 逐块处理，内存占用恒定
});

readStream.on("end", () => {
  console.log("文件读取完成");
});

readStream.on("error", (err) => {
  console.error("读取失败:", err.message);
});
```

逐行读取大文件（readline）：
```javascript
const fs = require("fs");
const readline = require("readline");

async function processLargeFile(filePath) {
  const rl = readline.createInterface({
    input: fs.createReadStream(filePath),
    crlfDelay: Infinity  // 处理 
 换行
  });

let lineCount = 0;
  for await (const line of rl) {
    lineCount++;
    // 逐行处理，如解析日志
    if (line.includes("ERROR")) console.log(line);
  }
  console.log(`共 ${lineCount} 行`);
}
```

管道流（读取 → 转换 → 写入）：
```javascript
const { Transform } = require("stream");

const upperCaseTransform = new Transform({
  transform(chunk, encoding, callback) {
    callback(null, chunk.toString().toUpperCase());
  }
});

fs.createReadStream("input.txt")
  .pipe(upperCaseTransform)  // 转换
  .pipe(fs.createWriteStream("output.txt"))  // 写入
  .on("finish", () => console.log("处理完成"));
```

补充说明：
- 流式读取内存占用恒定，适合 GB 级别文件
- highWaterMark 控制每次读取的缓冲区大小，默认 64KB
- readline 逐行处理适合日志分析、CSV 解析
- pipe 自动处理背压（backpressure），防止内存溢出