MapReduce 字数统计示例

17 Mar 2025 | 阅读 2 分钟

在 MapReduce 字数统计示例中，我们找出每个单词的频率。在这里，Mapper 的作用是将键映射到现有的值，而 Reducer 的作用是聚合公共值的键。因此，所有内容都以键值对的形式表示。

先决条件

Java 安装 - 使用以下命令检查 Java 是否已安装。
java -version
Hadoop 安装 - 使用以下命令检查 Hadoop 是否已安装。
hadoop version

如果您的系统未安装其中任何一个，请按照以下链接进行安装。

www.javatpoint.com/hadoop-installation

执行 MapReduce 字数统计示例的步骤

在您的本地计算机上创建一个文本文件，并在其中写入一些文本。
$ nano data.txt

检查写入 data.txt 文件中的文本。
$ cat data.txt

在本例中，我们找出该文本文件中存在的每个单词的频率。

在 HDFS 中创建一个目录，用于存放文本文件。
$ hdfs dfs -mkdir /test
将 data.txt 文件上传到 HDFS 的特定目录中。
$ hdfs dfs -put /home/codegyani/data.txt /test

使用 eclipse 编写 MapReduce 程序。

文件：WC_Mapper.java

package com.javatpoint;

import java.io.IOException;  
import java.util.StringTokenizer;  
import org.apache.hadoop.io.IntWritable;  
import org.apache.hadoop.io.LongWritable;  
import org.apache.hadoop.io.Text;  
import org.apache.hadoop.mapred.MapReduceBase;  
import org.apache.hadoop.mapred.Mapper;  
import org.apache.hadoop.mapred.OutputCollector;  
import org.apache.hadoop.mapred.Reporter;  
public class WC_Mapper extends MapReduceBase implements Mapper<LongWritable,Text,Text,IntWritable>{  
    private final static IntWritable one = new IntWritable(1);  
    private Text word = new Text();  
    public void map(LongWritable key, Text value,OutputCollector<Text,IntWritable> output,   
           Reporter reporter) throws IOException{  
        String line = value.toString();  
        StringTokenizer  tokenizer = new StringTokenizer(line);  
        while (tokenizer.hasMoreTokens()){  
            word.set(tokenizer.nextToken());  
            output.collect(word, one);  
        }  
    }  
  
}

文件：WC_Reducer.java

package com.javatpoint;
	import java.io.IOException;  
	import java.util.Iterator;  
	import org.apache.hadoop.io.IntWritable;  
	import org.apache.hadoop.io.Text;  
	import org.apache.hadoop.mapred.MapReduceBase;  
	import org.apache.hadoop.mapred.OutputCollector;  
	import org.apache.hadoop.mapred.Reducer;  
	import org.apache.hadoop.mapred.Reporter;  
	  
	public class WC_Reducer  extends MapReduceBase implements Reducer<Text,IntWritable,Text,IntWritable> {  
	public void reduce(Text key, Iterator<IntWritable> values,OutputCollector<Text,IntWritable> output,  
	 Reporter reporter) throws IOException {  
	int sum=0;  
	while (values.hasNext()) {  
	sum+=values.next().get();  
	}  
	output.collect(key,new IntWritable(sum));  
	}  
	}

文件：WC_Runner.java

package com.javatpoint;

	import java.io.IOException;  
	import org.apache.hadoop.fs.Path;  
	import org.apache.hadoop.io.IntWritable;  
	import org.apache.hadoop.io.Text;  
	import org.apache.hadoop.mapred.FileInputFormat;  
	import org.apache.hadoop.mapred.FileOutputFormat;  
	import org.apache.hadoop.mapred.JobClient;  
	import org.apache.hadoop.mapred.JobConf;  
	import org.apache.hadoop.mapred.TextInputFormat;  
	import org.apache.hadoop.mapred.TextOutputFormat;  
	public class WC_Runner {  
	    public static void main(String[] args) throws IOException{  
	        JobConf conf = new JobConf(WC_Runner.class);  
	        conf.setJobName("WordCount");  
	        conf.setOutputKeyClass(Text.class);  
	        conf.setOutputValueClass(IntWritable.class);          
	        conf.setMapperClass(WC_Mapper.class);  
	        conf.setCombinerClass(WC_Reducer.class);  
	        conf.setReducerClass(WC_Reducer.class);       
	        conf.setInputFormat(TextInputFormat.class);  
	        conf.setOutputFormat(TextOutputFormat.class);         
	        FileInputFormat.setInputPaths(conf,new Path(args[0]));  
	        FileOutputFormat.setOutputPath(conf,new Path(args[1]));   
	        JobClient.runJob(conf);  
	    }  
	}  

下载源代码。

创建此程序的 jar 文件并将其命名为countworddemo.jar。
运行 jar 文件
hadoop jar /home/codegyani/wordcountdemo.jar com.javatpoint.WC_Runner /test/data.txt /r_output
输出存储在 /r_output/part-00000 中