原创文章,转载请注明地址: http://rabbit9898.iteye.com/blog/1130674
Sensei是LinkedIn的一个分布式搜索系统。安装步骤参考:
http://linkedin.jira.com/wiki/display/SENSEI/Getting+Started
或者 http://rabbit9898.iteye.com/blog/997165 。
sensei项目一直在升级中,估计安装起来越来越复杂了
1. Sensei的体系结构:
2. 完善后的体系结构
在sensei中采用了两级结果合并来处理。在一个Node中可以有多个分片索引(Partition/Shard),在查询一个关键词时,一个Node上可以并行查询多个分片(P1,P2)可以对结果进行合并;在搜索服务中可以对多个Node的搜索结果进行二次合并。数据调用流程如上面数字所示。
在结构中添加了cache 和NoSQL 两块。
2.1 cache的添加
cache添加失去了zoie的实时性,主要是因为:
1) 在数据分发服务中,各个节点很难保证建立索引的一致性结果造成了排序不一致
2)因为有删除的数据,结果lucene中计算term的TF和IDF时,删除的数据的分词结果计算在Term的TF和IDF。 当删除该数据时,该数据分词后的term响应的TF不会删除,造成了不同索引中Score不一样(如上面的Node1中的p2 和 Node2中的P2即使索引的数据一样,但是Term的TF不一样,就会造成结果的score有细微差别)。
2.2 NoSQL的添加
lucene中如果数据保存在索引中,翻页比较多的时候会比较慢。 每次从索引中取出数据,效率也不太理想。因此采用NoSQL. 从NoSQL根据ID和查询的关键词,从中取出时间、标题、高亮的内容等其他字段。
- 大小: 55.3 KB
- 大小: 36.7 KB
分享到:
相关推荐
Hadoop+HBase+Hive+lucene分布式搜索引擎分析系统
lucene+hadoop_分布式搜索运行框架.
#资源达人分享计划#
基于Lucene的分布式搜索设计说明书,讲的设计内容很详细,很适于学习。
NULL 博文链接:https://catastiger.iteye.com/blog/811985
分享一套完整版视频课程——分布式搜索引擎Elasticsearch开发实战基础篇 (ElasticSearch、ELK、搜索引擎、Lucene),本教程旨在带领大家进入搜索引擎领域,从无到有,深入浅出的讲解了什么是搜索引擎,搜索引擎的...
lucene3.0.3搜索的使用示例lucene3.0.3搜索的使用示例lucene3.0.3搜索的使用示例
lucene排序、设置权重、优化、分布式搜索.pdf
Linux下Nutch分布式配置和使用.pdf Lucene+Nutch源码.rar Lucene学习笔记.doc nutch_tutorial.pdf nutch二次开发总结.txt nutch入门.pdf nutch入门学习.pdf Nutch全文搜索学习笔记.doc Yahoo的Hadoop教程.doc [硕士...
lucene,solr的使用lucene,solr的使用lucene,solr的使用lucene,solr的使用lucene,solr的使用lucene,solr的使用lucene,solr的使用lucene,solr的使用lucene,solr的使用lucene,solr的使用lucene,solr的使用
使用Lucene进行分布式实时搜索 LuMongo是基于Lucene的实时分布式搜索和存储系统。 LuMongo从头开始设计,可以在服务器之间垂直和水平扩展。 LuMongo将Lucene索引直接存储到MongoDB中。 文档可以本地存储在MongoDB中...
Lucene的的学习资料及案例,包括一个lucene的学习资料总结。供大家学习使用,也有本人写的一个小案例。
基于lucene平台搜索工具相关包及使用说明.rar
用lucene对数据库建立索引及搜索.doc
基于lucene的文件管理系统(完善版,含jar包)
lucene3.6 搜索例子
Lucene实现全文搜索,支持英文、模糊和智能查询
该书详细讲解了搜索引擎与信息检索基础,Lucene入门实例,Lucene索引的建立,使用Lucene进行搜索,排序,过滤和分页,Lucene的分析器,对Word、Excel和PDF格式文档的处理,Compass搜索引擎框架,Lucene分布式和...
lucene、lucene.NET详细使用与优化详解lucene、lucene.NET详细使用与优化详解
Lucene创建索引,查询索引的简单使用。