深入浅出了解Node.js Streams

2020-06-17 05:50:49易采站长站整理

什么是流(steams)

流(stream)是 Node.js 中处理流式数据的抽象接口。

Streams 不是 Node.js 独有的概念。它们是几十年前在 Unix 操作系统中引入的。

它们能够以一种有效的方式来处理文件的读、写,网络通信或任何类型的端到端信息交换。
例如,当你编写了一段程序用来读取文件时,传统的方法是将文件从头到尾读入内存,然后再进行处理。而使用流的话,你就可以逐块读取它,处理其内容而不将其全部保存在内存中。
以如下代码为例


const fs = require('fs');
const rs = fs.createReadStream('test.md');
let data = '';
rs.on("data", function (chunk) {
data += chunk;
});
rs.on("end", function() {
console.log(data);
});

利用 createReadStream 创建一个读取数据的流,来读取 test.md 文件的内容,此时监听 data 事件,它是在当流将数据块传送给消费者后触发。并在对应的 eventHandler 中,拼接 chunk。在 end 事件中,打印到终端上。
之前说流,可以逐块读取文件内容,那么这个块,也就是 chunk 是什么?
一般情况下是 Buffer,修改 data 事件的 eventHandler 来验证下


rs.on("data", function (chunk) {
console.log("chunk", Buffer.isBuffer(chunk)) // log true
data += chunk;
});

流的工作方式可以具体的表述为,在内存中准备一段 Buffer,然后在 fs.read() 读取时逐步从磁盘中将字节复制到 Buffer 中。

为什么要使用 Stream

利用 Stream 来处理数据,主要是因为它的两个优点:

内存效率:在够处理数据之前,不需要占用大量内存;

时间效率:处理数据花费的时间更少,因为流是逐块来处理数据,而不是等到整个数据有效负载才启动。

首先内存效率,与 fs.readFile 这种会缓冲整个文件相比,流式传输充分地利用 Buffer (超过 8kb)不受 V8 内存控制的特点,利用堆外内存完成高效地传输。相关验证可以参考这篇博文,地址。
时间效率,与 fs.FileSync 相比,有些优势,但是与异步的 fs.readFile 相比,优势不大。

Node.js 中 Stream 的使用

首先用一张图来了解下 Node.js 中有哪些内置的 Stream 接口

图中提供了一些 Node.js 原生的流的示例,有些是可读、写的流。 也有一些是可读写的流,如 TCP sockets、zlib 以及 crypto。

特别注意: 流的读、写与环境是密切相关的。例如 HTTP 响应在客户端上的可读流,但它是服务器上的可写流。同时还需要注意,stdio streams(stdin,stdout,stderr) 在子进程上是相反的流。