MapReduce字符计数示例

17 Mar 2025 | 阅读 2 分钟

在MapReduce字符计数示例中，我们找出每个字符的频率。这里，Mapper的作用是将键映射到现有值，Reducer的作用是聚合具有公共值的键。因此，所有内容都以键值对的形式表示。

先决条件

Java安装 - 使用以下命令检查是否已安装Java。
java -version
Hadoop安装 - 使用以下命令检查是否已安装Hadoop。
hadoop version

如果您的系统中未安装任何一个，请按照以下链接进行安装。

www.javatpoint.com/hadoop-installation

执行MapReduce字符计数示例的步骤

在您的本地计算机上创建一个文本文件，并在其中写入一些文本。
$ nano info.txt

检查info.txt文件中编写的文本。
$ cat info.txt

在此示例中，我们找出此文本文件中存在的每个字符值的频率。

在 HDFS 中创建一个目录，用于存放文本文件。
$ hdfs dfs -mkdir /count
将info.txt文件上传到HDFS中的特定目录中。
$ hdfs dfs -put /home/codegyani/info.txt /count

使用eclipse编写MapReduce程序。

文件：WC_Mapper.java

package com.javatpoint;

import java.io.IOException;    
import org.apache.hadoop.io.IntWritable;  
import org.apache.hadoop.io.LongWritable;  
import org.apache.hadoop.io.Text;  
import org.apache.hadoop.mapred.MapReduceBase;  
import org.apache.hadoop.mapred.Mapper;  
import org.apache.hadoop.mapred.OutputCollector;  
import org.apache.hadoop.mapred.Reporter;  
public class WC_Mapper extends MapReduceBase implements Mapper<LongWritable,Text,Text,IntWritable>{  
    public void map(LongWritable key, Text value,OutputCollector<Text,IntWritable> output,   
           Reporter reporter) throws IOException{  
        String line = value.toString();  
        String  tokenizer[] = line.split("");  
        for(String SingleChar : tokenizer)
		{
			Text charKey = new Text(SingleChar);
			IntWritable One = new IntWritable(1);
			output.collect(charKey, One);				
		}
    }  
  
} 

文件：WC_Reducer.java

package com.javatpoint;
	import java.io.IOException;  
	import java.util.Iterator;  
	import org.apache.hadoop.io.IntWritable;  
	import org.apache.hadoop.io.Text;  
	import org.apache.hadoop.mapred.MapReduceBase;  
	import org.apache.hadoop.mapred.OutputCollector;  
	import org.apache.hadoop.mapred.Reducer;  
	import org.apache.hadoop.mapred.Reporter;  
	  
	public class WC_Reducer  extends MapReduceBase implements Reducer<Text,IntWritable,Text,IntWritable> {  
	public void reduce(Text key, Iterator<IntWritable> values,OutputCollector<Text,IntWritable> output,  
	 Reporter reporter) throws IOException {  
	int sum=0;  
	while (values.hasNext()) {  
	sum+=values.next().get();  
	}  
	output.collect(key,new IntWritable(sum));  
	}  
	}

文件：WC_Runner.java

package com.javatpoint;

	import java.io.IOException;  
	import org.apache.hadoop.fs.Path;  
	import org.apache.hadoop.io.IntWritable;  
	import org.apache.hadoop.io.Text;  
	import org.apache.hadoop.mapred.FileInputFormat;  
	import org.apache.hadoop.mapred.FileOutputFormat;  
	import org.apache.hadoop.mapred.JobClient;  
	import org.apache.hadoop.mapred.JobConf;  
	import org.apache.hadoop.mapred.TextInputFormat;  
	import org.apache.hadoop.mapred.TextOutputFormat;  
	public class WC_Runner {  
	    public static void main(String[] args) throws IOException{  
	        JobConf conf = new JobConf(WC_Runner.class);  
	        conf.setJobName("CharCount");  
	        conf.setOutputKeyClass(Text.class);  
	        conf.setOutputValueClass(IntWritable.class);          
	        conf.setMapperClass(WC_Mapper.class);  
	        conf.setCombinerClass(WC_Reducer.class);  
	        conf.setReducerClass(WC_Reducer.class);       
	        conf.setInputFormat(TextInputFormat.class);  
	        conf.setOutputFormat(TextOutputFormat.class);         
	        FileInputFormat.setInputPaths(conf,new Path(args[0]));  
	        FileOutputFormat.setOutputPath(conf,new Path(args[1]));   
	        JobClient.runJob(conf);  
	    }  
	}  

下载源代码。

创建此程序的jar文件并将其命名为charcountdemo.jar。
运行jar文件
hadoop jar /home/codegyani/charcountdemo.jar com.javatpoint.WC_Runner /count/info.txt /char_output
输出存储在/char_output/part-00000中