Node.js 怎么用 readline 逐行处理大文本文件？

Question

仓乃文 · Accepted Answer

用 fs.readFile 读取 GB 级日志文件会撑爆内存。readline 模块配合 createReadStream 逐行读取文件，内存占用恒定，不受文件大小影响，适合处理日志分析、数据清洗等大文件场景。

逐行读取文件：
```javascript
const fs = require("fs");
const readline = require("readline");

const rl = readline.createInterface({
  input: fs.createReadStream("access.log"),
  crlfDelay: Infinity
});

let errorCount = 0;
rl.on("line", (line) => {
  if (line.includes("ERROR")) {
    errorCount++;
  }
});

rl.on("close", () => {
  console.log(`错误日志数: ${errorCount}`);
});
```

配合 async 迭代器：
```javascript
async function processFile() {
  const rl = readline.createInterface({
    input: fs.createReadStream("data.csv")
  });

for await (const line of rl) {
    const [name, age] = line.split(",");
    await db.insert({ name, age: Number(age) });
  }
}
```

补充说明：
- crlfDelay: Infinity 确保 
 换行不会被拆成两行
- for await 语法在 Node.js 10+ 可用，比事件监听更直观
- 逐行处理 1GB 日志文件内存占用仅几 MB
- 可以在 line 事件中调用 rl.pause() 和 rl.resume() 控制读取速度
- 配合 pipeline 和 Transform 流可以实现更复杂的流式处理