Hadoop实验--数据去重

Hadoop实验报告数据去重问题背景：随着存储数据信息量的飞速增长，去重无疑成为众多大数据科研人员要面对的问题之一。因此越来越多的人开始关注存储数据的缩减方法。数据压缩、单实例存储和重复数据删除等都是经常使用的存储数据缩减技术。重复数据删除往往是指消除冗余子文件。不同于压缩，重复数据删除对于数据本身并没有改变，只是消除了相同的数据占用的存储容量。重复数据删除在减少存储、降低网络带宽方面有着显著的优势，并对扩展性有所帮助。举个简单的例子：在专门为电信运营商定制的呼叫详单去重应用程序中，我们就可以看到删除重复数据的影子。同样的，对于包含相同数据包的通信网络，我们可以使用这种技术来进行优化。问题描述：编写MapReduce程序读取文本文件，去掉所有数据中的重复数据后输出结果。实验名称：数据去重实验目的：1、基本了解一个Hadoop程序的结构、编译、封装、运行、查看结果等流程。2、掌握并利用并行化编程思想对数据做有意义的筛选。实验要求：完成MapReduce程序，测试其对数据的筛选能力。输入：输入是一组文本文件，在每个输入文件中每一行是一个数据。每一个元数据都是一个字符串。输出：输出文件的每一行都是在输入文件中出现过的一个数据，并且输出文件中的每一行都不相同。【数据样例】输入：input1:2015-1-1a2015-1-2b2015-1-3c2015-1-4d2015-1-5a2015-1-6b2015-1-7c2015-1-8cinput2:2015-1-1b2015-1-2a2015-1-3b2015-1-4d2015-1-5a2015-1-6c2015-1-7d2015-1-8c输出:2015-1-1a2015-1-1b2015-1-2a2015-1-2b2015-1-3b2015-1-3c2015-1-4d2015-1-5a2015-1-6b2015-1-6c2015-1-7c2015-1-7d2015-1-8c设计思路：数据去重的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。我们自然而然会想到将同一个数据的所有记录都交给一台reduce机器，无论这个数据出现多少次，只要在最终结果中输出一次就可以了。具体就是reduce的输入应该以数据作为key，而对value-list则没有要求。当reduce接收到一个key，value-list时就直接将key复制到输出的key中，并将value设置成空值。在MapReduce流程中，map的输出key，value经过shuffle过程聚集成key，value-list后会交给reduce。所以从设计好的reduce输入可以反推出map的输出key应为数据，value任意。继续反推，map输出数据的key为数据，而在这个实例中每个数据代表输入文件中的一行内容，所以map阶段要完成的任务就是在采用Hadoop默认的作业输入方式之后，将value设置为key，并直接输出（输出中的value任意）。map中的结果经过shuffle过程之后交给reduce。reduce阶段不会管每个key有多少个value，它直接将输入的key复制为输出的key，并输出就可以了（输出中的value被设置成空了）。实验内容和过程：importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hadoop.mapreduce.Mapper;importorg.apache.hadoop.mapreduce.Reducer;importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;importorg.apache.hadoop.mapreduce.lib.output.FileOutputFormat;importorg.apache.hadoop.util.GenericOptionsParser;publicclassDedup{//map将输入中的value复制到输出数据的key上，并直接输出publicstaticclassMapextendsMapperObject,Text,Text,Text{privatestaticTextline=newText();//实现map函数publicvoidmap(Objectkey,Textvalue,Contextcontext)throwsIOException,InterruptedException{line=value;context.write(line,newText());}}//reduce将输入中的key复制到输出数据的key上，并直接输出publicstaticclassReduceextendsReducerText,Text,Text,Text{publicvoidreduce(Textkey,IterableTextvalues,Contextcontext)//实现reduce函数throwsIOException,InterruptedException{context.write(key,newText());}}publicstaticvoidmain(String[]args)throwsException{Configurationconf=newConfiguration();String[]otherArgs=newGenericOptionsParser(conf,args).getRemainingArgs();if(otherArgs.length!=2){System.err.println(UsageWordCountintout);System.exit(2);}Jobjob=newJob(conf,Dedup);job.setJarByClass(Dedup.class);//设置Map、Combine和Reduce处理类job.setMapperClass(Map.class);job.setCombinerClass(Reduce.class);job.setReducerClass(Reduce.class);//设置输出类型job.setOutputKeyClass(Text.class);job.setOutputValueClass(Text.class);//设置输入和输出目录FileInputFormat.addInputPath(job,newPath(otherArgs[0]));FileOutputFormat.setOutputPath(job,newPath(otherArgs[1]));System.exit(job.waitForCompletion(true)?0:1);}}实验结果：在终端键入bin/hadoopfs-catoutput01/*即可得到如下所示实验结果，从而实现了数据去重的功能，至此实验完毕。