Spark sortByKey 函数

2025 年 3 月 17 日 | 阅读 1 分钟

在 Spark 中,sortByKey 函数保持元素的顺序。它接收键值对 (K, V) 作为输入,按升序或降序对元素进行排序,并生成一个有序的数据集。

sortByKey 函数的例子

在这个例子中,我们按升序和降序排列数据集的元素。

  • 要以 Scala 模式打开 Spark,请使用以下命令。
Spark sortByKey Function
  • 使用并行集合创建 RDD。

现在,我们可以使用以下命令读取生成的結果。

Spark sortByKey Function

对于升序,

  • 应用 sortByKey() 函数以忽略重复的元素。
  • 现在,我们可以使用以下命令读取生成的結果。
Spark sortByKey Function

在这里,我们得到了期望的输出。

对于降序,

  • 应用 sortByKey() 函数并将布尔类型作为参数传递。
  • 现在,我们可以使用以下命令读取生成的結果。
Spark sortByKey Function

在这里,我们得到了期望的输出。