最近在学习hadoop编程,在大概理解了wordcount之后又接触了一个叫倒排索引的东东,所以就用它来练练手吧!
首先介绍一下什么是倒牌索引!(以下请参考各种百科).
倒排索引,索引对象是文档或者文档集合中的单词等,用来存储这些单词在一个文档或者一组文档中的存储位置,是对文档或者文档集合的一种最常用的索引机制。由于不是根据文档所包含的内容,而是进行相反的操作,因而称为倒排索引!
通常情况下倒排索引由一个单词(或词组)以及相关文档的列表组成,文档列表中的文档或者标识文档的ID,或者是指定文档所在位置的URI。在这里我实现了这样一种形式的倒排索引。
首先是单词在某个目录下出现的总的次数,空格之后是单词,再空格之后是它的文档列表以及在每个文档种出现的次数。
总的次数 文档1 次数 文档2 次数 文档3 次数。。。。。。
所采取的策略依然是wordcount,我先对目录下每个文档进行wordcount,但是map输出的key是单词+文件标识也就是文件名,value依然是单词one,reduce阶段在统计。
当然之前我在主目录下新建了一个目录,然后在里面新建了几个文本文件,随意写入一些单词。
看代码:
public class InvertedIndexMapper extends
Mapper<Object, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
private FileSplit split;
public void map(Object key, Text value, Context context)
throws IOException, InterruptedException {
split=(FileSplit)context.getInputSplit();
StringTokenizer itr = new StringTokenizer(value.toString(),
"\t\r\n\f., !");
while (itr.hasMoreElements()) {
word.set(itr.nextToken());
// 输出;
context.write(new Text(word.toString()+"@"+split.getPath().toString()), one);
}
}
}
public class InvertedIndexReducer extends
Reducer<Text, IntWritable, Text, Text> {
public void reduce(Text key, Iterable<IntWritable> values, Context context)
throws IOException, InterruptedException {
int sum=0;
//得到文件名;
for(IntWritable val:values){
sum+=val.get();
}
Text word=new Text((key.toString()).substring(0,key.toString().indexOf("@")));
context.write(word, new Text(key.toString().substring(key.toString().indexOf("@")+1)+" "+sum));
}
}
之后再进行一个mapreduce将所有的单词组成的文档构成一个列表。
public void map(Object key, Text value, Context context)
throws IOException, InterruptedException {
String[] strs=value.toString().split("\t");
context.write(new Text(strs[0]),new Text(strs[1]));
}
}
public class ListReducer extends Reducer<Text,Text,Text,Text> {
public void reduce(Text key,Iterable<Text>values,Context context)throws IOException,InterruptedException{
String res=new String();
//总的次数;
int sum=0;
//将所有的结果输出就可以了;
for(Text val:values){
//取得次数的值;
sum+=Integer.parseInt(val.toString().substring(val.toString().lastIndexOf(" ")+1));
res+=val+" ";
}
context.write(new Text(String.valueOf(sum)), new Text(key.toString()+" "+res));
}
}
当然我们知道搜索引擎会对于每个单词出现的次数进行排序,但是对于hadoop的排序机制还不是太了解,所以就利用它默认的排序方式做了一个比较坑爹的排序maprduce。
public class RankMapper extends Mapper<Object, Text, Text, Text> {
public void map(Object key, Text value, Context context)
throws IOException, InterruptedException {
String[] line = value.toString().split("\t");
context.write(new Text(line[0]),new Text(line[1]));
}
}
public class RankReducer extends Reducer<Text,Text,Text,Text> {
public void reduce(Text key,Iterable<Text>values,Context context)throws IOException,InterruptedException{
//将所有的结果输出就可以了;
for(Text val:values){
context.write(key, val);
}
}
}
好了就这些,如果后期当然还有很多值得优化的地方,随着学习的深入,还会继续优化!
分享到:
相关推荐
这是山东大学大数据实验二,用Hadoop实现文档的倒排索引
大数据实验报告Hadoop编程实现InvertedIndex文档倒排索引程序附源码.doc
MapReduce程序 完整实验报告 和 jar包 和简单实验数据
Hadoop mapreduce 实现InvertedIndexer倒排索引,能用。
基于hadoop集群系统(也可以在伪分布式系统上运行)系统使用Java编写的倒排索引实现,具有使用停词表功能,使用正则表达式选择规范的单词。代码重构了setup(),map(),combiner(),partitation()和reducer()函数,...
Map和 Reduce的设计思路(含 Map、Reduce阶段的 K、V类型) 基本要求与排序 因为两者代码具有关联性,故放在一起说。 首先在基本要求中,Map 我们对于输入的文件每句进行切割,将单词与文件名作为(text)key,...
北京大学网络大数据管理与应用作业,倒排索引实现。使用Spark和Hadoop分别进行实现倒排索引
人工智能-hadoop
1、资源内容:基于hadoop实现维基百科词条倒排索引+源代码+文档说明+配置过程文档 2、代码特点:内含运行结果,不会运行可私信,参数化编程、参数可方便更改、代码编程思路清晰、注释明细,都经过测试运行成功,功能...
倒排索引(Inverted Index)被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射,是目前几乎所有支持...资源中包含了MapReduce实现的文档倒排索引的源码、jar包、测试数据(包含停词表)和结果。
运行说明:在linux终端输入 $ hadoop jar test-1.0-SNAPSHOT.jar WordCount /input/* /MyOutput1/ 后两个参数是hdfs上面【输入】的文本文件目录和【输出】目录。 记得清空输出目录。
这篇博文就带着大家一起学习下如何利用Hadoop的MR程序来实现倒排索引的功能。 一、数据准备 1、输入文件数据 这里我们准备三个输入文件,分别如下所示 a.txt hello tom hello jerry hello tom b.txt hello ...
hadoop hadoop课程主页 这里是我的一些hadoop程序 最基本的wordcount,倒排索引,还有一个是对倒排索引的排序。数据用的是hadoop课程上给的武侠小说的数据。
倒排索引是使用 Apache Hadoop 从爬取的数据中构建的。 爬取的数据和倒排索引保存在nosql MongoDB数据库中,响应速度更快,扩展性更强。 Web 应用程序使用部署在 Apache Tomcat 服务器中的 REST Web 服务与数据库...
实现基于爬虫获取的语料库,建立全文倒排索引并实现搜索功能的项目。主要分为以下三个阶段: 爬虫:选取网站并进行爬虫获取初始数据; 获取语料库:将爬虫获取的原始数据经过加工及中文分词后建立本地语料库; ...
- 不懂运行,下载完可以私聊问...3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。 --------
09-倒排索引的mr实现.avi 10-多个job在同一个main方法中提交.avi 第五天 hadoop2.x中HA机制的原理和全分布式集群安装部署及维护 01-zookeeper.avi 02-zookeeper2.avi 03-NN高可用方案的要点1.avi 04-hadoop-...