Spark Distinct 函数

在 Spark 中，Distinct 函数从提供的数据集中返回不同的元素。

Distinct 函数的示例

在此示例中，我们忽略重复的元素，并且仅检索不同的元素。

• 要在 Scala 模式下打开 Spark，请使用以下命令。

• 使用并行集合创建 RDD。

• 现在，我们可以使用以下命令读取生成的結果。

• 应用 distinct() 函数以忽略重复的元素。

• 现在，我们可以使用以下命令读取生成的結果。

在这里，我们得到了期望的输出。