Spark 交集函数

在 Spark 中，交集函数返回一个新数据集，该数据集包含不同数据集中存在的元素的交集。因此，它只返回一行。此函数的行为类似于 SQL 中的 INTERSECT 查询。

交集函数示例

在本例中，我们对两个数据集的元素求交集。

• 要以 Scala 模式打开 Spark，请使用以下命令。

• 使用并行集合创建 RDD。

• 现在，我们可以使用以下命令读取生成的結果。

• 使用并行集合创建另一个 RDD。

• 现在，我们可以使用以下命令读取生成的結果。

• 应用 intersection() 函数以返回元素的交集。

• 现在，我们可以使用以下命令读取生成的結果。

在这里，我们得到了期望的输出。