Spark 单词计数示例

在 Spark 词频统计示例中，我们找出特定文件中每个单词出现的频率。 在这里，我们使用 Scala 语言来执行 Spark 操作。

执行 Spark 词频统计示例的步骤

在此示例中，我们查找并显示每个单词出现的次数。

• 在您的本地计算机上创建一个文本文件，并在其中写入一些文本。

• 检查 sparkdata.txt 文件中写入的文本。

• 在 HDFS 中创建一个目录，用于存放文本文件。

• 将 sparkdata.txt 文件上传到 HDFS 中的特定目录。

• 现在，按照以下命令以 Scala 模式打开 Spark。

• 让我们使用以下命令创建一个 RDD。

在这里，传递任何包含数据的文件名。

• 现在，我们可以使用以下命令读取生成的結果。

• 在这里，我们使用以下命令将现有数据拆分为单个单词的形式。

• 现在，我们可以使用以下命令读取生成的結果。

• 现在，执行 map 操作。

在这里，我们将值 1 分配给每个单词。

• 现在，我们可以使用以下命令读取生成的結果。

• 现在，执行 reduce 操作

在这里，我们总结生成的数据。

• 现在，我们可以使用以下命令读取生成的結果。

在这里，我们得到了期望的输出。