Spark 过滤功能

2025 年 3 月 17 日 | 阅读 1 分钟

在 Spark 中,Filter 函数通过选择源中函数返回 true 的那些元素来返回一个新的数据集。 因此,它仅检索满足给定条件的元素。

Filter 函数示例

在此示例中,我们过滤给定的数据并检索除 35 之外的所有值。

  • 要在 Scala 模式下打开 Spark,请使用以下命令。
Spark Filter Function
  • 使用并行集合创建 RDD。
  • 现在,我们可以使用以下命令读取生成的結果。
Spark Filter Function
  • 应用过滤功能并传递执行所需的表达式。
  • 现在,我们可以使用以下命令读取生成的結果。
Spark Filter Function

在这里,我们得到了期望的输出。


下一个主题Spark 计数函数