Kafka Streams vs. Spark Streaming

Apache Spark

Apache Spark 是一个分布式通用处理系统，可以一次处理 PB 级数据。它主要用于流处理和数据处理。它分布在数千个虚拟服务器之间。大型组织使用 Spark 来处理大量数据集。 Apache Spark 允许使用大约 80 个高级运算符更快地构建应用程序。它通过查询优化器、物理执行引擎和 DAG 调度器获得流数据和批处理数据的高性能。因此，它的速度快了一百倍。

Spark Streaming

Apache Spark 通过 Spark Streaming 实现了大型数据集的流处理。 Spark Streaming 是核心 Spark API 的一部分，允许用户处理实时数据流。 它从不同的数据源获取数据，并使用复杂的算法进行处理。 最后，处理后的数据被推送到实时仪表板、数据库和文件系统。

Kafka Streams

一个用于处理和分析存储在 Kafka 中的数据的客户端库。 Kafka streams 允许用户构建应用程序和微服务。 此外，将输出存储在 Kafka 集群中。 除了 Kafka 之外，它对其他系统没有任何外部依赖。 它一次只处理一个记录。

Kafka Streams vs. Spark Streaming