Node.js 中的 streamConsumers.buffer(stream)

在 Node.js 中，当处理大量数据（如文档、HTTP 响应或数据库查询）时，管理流至关重要。流通过分块处理数据，而不是一次性读取或写入所有数据，从而提供了一种优雅的非阻塞、内存高效的方式来管理这些数据。然而，有时我们需要消耗整个流。在这种情况下，streamConsumers.buffer() 就派上用场了，尤其是在与可读流一起使用时。

Node.js 中的流

在深入了解 streamConsumers.buffer() 之前，了解 Node.js 中的流非常重要。流是 Node.js 中用于更有效地处理 I/O 操作的关键概念。Node.js 提供了多种流类型，包括：

• 可读流：可以从中读取数据的流（例如，HTTP 请求、文件读取）。
• 可写流：可以向其写入数据的流（例如，HTTP 响应、文件写入）。
• 双工流：既可以读取又可以写入的流，如网络套接字。
• 转换流：一种双工流，可以在读取或写入数据时修改数据，例如用于压缩。

流一次处理一块数据，而不是一次处理所有数据。当然，有时您可能希望将整个流收集到缓冲区中以优化处理。

为什么要缓冲流？

我们可以准备好对数据执行任何操作，并将其整合到一个流中，我们出于以下原因对其进行缓冲：

1. 少量文件或数据：处理少量数据或历史记录可以让您立即执行整个查询。例如，在解析小型文档并将结果对象发送到应用程序或API 时，缓冲流并处理各个部分会很不方便。
2. 有时，API 或库需要立即获取所有记录，而不是分块获取。这使得在某些情况下缓冲成为一种选择。
3. 流在输入输出方面很有用，但对于一些开发者来说，处理数据可能有点困难。它反过来有助于代码，尤其是在处理大量数据时。让我们来看一个具有爆炸式签名方法的示例。

这就是 streamConsumers 发挥作用的地方。buffer() 函数非常方便，因为它通过自动缓冲整个流来提供帮助。

streamConsumers.buffer() 函数是什么？

streamConsumers.buffer() 方法从可读流读取所有内容，并将其作为缓冲区对象或字符串返回。这是使用 Node.js 版本 16.7 中新增的一个流模块方法实现的。此功能会读取您的流，直到它发出“end”事件，然后返回一个包含流中所有文本的缓冲区。

示例

让我们通过一个示例来说明 Node.js 中的 stream consumers.buffer() 函数。

输出

streamConsumers.buffer() 如何工作？

人工智能正在重塑我们生活中许多方面，尤其是在飞速发展的时代。从数字助手到最先进的建议系统，AI 已经并继续改变着我们的生活方式。它处理海量数据和分析复杂模式的能力，为各行各业创造了新的机遇。

示例

以下是在 Node.js 中使用 streamConsumers.buffer() 函数从文件系统中读取文件的示例：

输出

说明

在代码中，createReadStream 函数为文件打开一个可读流。buffer() 方法消耗流并将所有块累积到 Buffer 中，该 Buffer 被有效地分配给 data 变量，正如我们可以推测的那样。

何时应使用 stream consumers buffer()？

虽然流可以高效地分块处理大量数据，但在某些情况下，streamConsumers... 如果是这种情况，buffer() 就是解决方案。一些常见的用例包括：

• 小型文件：一种方法是立即缓冲整个文件，这对于小型文档非常有效，并避免了管理分块数据的开销。
• API 使用：如果 API 要求将整个响应放入字节数组（例如，许多图像处理库或加密函数），则需要缓冲。
• Flatmap：对小型流使用 streamConsumers 可以简化数据处理。buffer() 方法可以显著减少代码复杂性。您无需手动管理数据和结束事件，只需缓冲流并将其作为一个整体进行处理，从而使处理流式数据更加容易。
• 测试和改进：通过保留数据流，我们可以将其用作诊断结果中数据问题的有用资源。它使我们能够从头到尾检查材料，就像检查清单一样。

手动使用 data 和 end 事件

在引入 streamconsumers.buffer() 之前，最常见的方法是手动监听流的 data 和 end 事件。

输出

此方法手动将块累积到一个数组中，并在流结束时将它们连接成一个单独的缓冲区。

使用 Promises 和 stream.promises

流模块还提供了用于以对 Promise 友好的方式管理流的实用函数，例如 promises.finished() 和 promises.pipeline()。根据具体用例，这些函数可以替代下面的示例。

性能考虑

大规模处理流可能会变得相当冗长。Buffer() 是一个糟糕的选择，因为它将整个流存储在内存中。第二个原因是可能存在一些内存开销，这使得坚持基于块的处理更有利，并使其在大数据集上表现更好。

如果我们正在处理一个可能增长非常大的流（例如下载视频或处理大量日志文件），在这种情况下，建议使用 pipeline() 或手动监听数据事件等机制，逐块处理流。

结论

在 Node.js 中，一种简化可读流的方法是通过使用 streamConsumers.buffer()。虽然这可以简化您需要立即消耗整个流的数据处理方式，但应谨慎使用，因为它会极大地改变处理大型数据集的方式。了解何时以及为什么使用 streamConsumers.buffer() 可以生成更清晰、更高效的 Node.js 代码。无论您是处理文件、HTTP 响应还是需要缓冲的其他上下文，此技术都可以方便地管理流中的数据。