Spark groupByKey 函数

2025 年 3 月 17 日 | 阅读 1 分钟

在 Spark 中,groupByKey 函数是一个常用的转换操作,用于对数据进行洗牌。它接收键值对 (K, V) 作为输入,根据键对值进行分组,并生成一个 (K, Iterable) 对的数据集作为输出。

groupByKey 函数的示例

在此示例中,我们根据键对值进行分组。

  • 要以 Scala 模式打开 Spark,请使用以下命令。
Spark groupByKey Function
  • 使用并行集合创建 RDD。

现在,我们可以使用以下命令读取生成的結果。

Spark groupByKey Function
  • 应用 groupByKey() 函数对值进行分组。
  • 现在,我们可以使用以下命令读取生成的結果。
Spark groupByKey Function

在这里,我们得到了期望的输出。