内容简介

本书是一本介绍搜索引擎开发的书籍，通过本书，读者可以独立构建一个企业级的搜索引擎网站。本书讲解了搜索引擎与信息检索基础，Lucene入门实例，索引的建立，使用Lucene来搜索，排序，分析器，对Word、Excel和PDF格式文档的解析，Compass搜索引擎框架，Lucene分布式，爬虫Heritrix，HTMLParser，DWR等内容。最后综合这些技术，构建了一个典型的垂直搜索系统，具有很强的商业实用价值。
　　本书是一本使用Lucene和Heritrix来讲解搜索引擎构建的书，通过对API和源代码的分析，力求使读者在应用的基础上，能够深入其核心，自行扩展和开发相应组件，发挥想象力，开发出更具有创意的搜索引擎产品。
　　本书适合Java程序员和从事计算机软件开发的编程人员阅读，同时也可以作为搜索引擎爱好者的入门书籍。

目录

第1章　搜索引擎与信息检索　
　1.1　搜索引擎的历史　
　　1.1.1　萌芽：Archie、Gopher　
　　1.1.2　起步：Robot(网络机器人)的出现与Spider(网络爬虫)　
　　1.1.3　发展：Excite、Galaxy、Yahoo等　
　　1.1.4　繁荣：Infoseek、AltaVista、Google和Baidu　
　1.2　信息检索系统的基本知识　
　　1.2.1　信息检索系统　
　　1.2.2　信息检索的过程　
　　1.2.3　传统查找的优点和不足　
　　1.2.4　使用索引提高检索速度　
　　1.2.5　倒排索引　
　　1.2.6　评价信息检索系统的标准　
　1.3　Lucene的简介　
　1.4　小结　
第2章　Lucene入门实例　
　2.1　实例介绍　
　　2.1.1　实例说明　
　　2.1.2　开发过程　
　2.2　准备工作　
　　2.2.1　将文档的全角标点转成半角标点　
　　2.2.2　将大文档切分成多个小文档　
　　2.2.3　预处理源文件的统一接口　
　2.3　创建Eclipse工程　
　　2.3.1　准备工作　
　　2.3.2　创建工程并引入Lucene的JAR包　
　　2.3.3　运行文档预处理类　
　　2.3.4　创建处理文档的索引类：IndexProcessor　
　　2.3.5　创建检索索引的搜索类　
　2.4　运行效果　
　2.5　小结　
第3章　索引的建立　
　3.1　Document逻辑文件　
　　3.1.1　Lucene的Document　
　　3.1.2　为Document添加多种Field　
　　3.1.3　Document的内部实现　
　3.2　Field的内部实现　
　　3.2.1　Field包含的类　
　　3.2.2　Field类的构造方法　
　3.3　Lucene的索引工具IndexWriter　
　　3.3.1　IndexWriter的初始化　
　　3.3.2　向索引添加文档　
　　3.3.3　限制每个Field中的词条的数量　
　3.4　Lucene索引过程详解　
　　3.4.1　Lucene索引建立过程概览　
　　3.4.2　使用addDocument方法向索引添加文档　
　　3.4.3　DocumentWriter的addDocument方法　
　　3.4.4　文档的倒排　
　　3.4.5　对postingTable进行排序　
　　3.4.6　将Posting信息写入索引　
　3.5　索引文件格式　
　　3.5.1　索引的segment　
　　3.5.2　.fnm格式　
　　3.5.3　.fdx与.fdt格式　
　　3.5.4　.tii与.tis格式　
　　3.5.5　deletable格式　
　　3.5.6　复合索引格式.cfs　
　3.6　索引过程的调优　
　　3.6.1　合并因子mergeFactor　
　　3.6.2　maxMergeDocs　
　　3.6.3　minMergeDocs　
　3.7　索引的合并与索引的优化　
　　3.7.1　FSDirectory与RAMDirectory　
　　3.7.2　使用IndexWriter来合并索引　
　　3.7.3　索引的优化　
　3.8　从索引中删除文档　
　　3.8.1　索引的读取工具Index-Reader　
　　3.8.2　使用文档ID号来删除特定文档　
　　3.8.3　使用Field信息来删除批量文档　
　3.9　Lucene的同步问题　
　　3.9.1　为什么要进行同步以及Lucene的同步法则　
　　3.9.2　commit.lock与write.lock　
　3.10　Lucene 2.0的新类：IndexModifier类　
　3.11　小结　
第4章　Lucene搜索
第5章　排序、过滤和分页
第6章　Lucene的分析器　
第7章　Word、Excel和PDF的处理
第8章　Compass：封装了Lucene的框架
第9章　Lucene分布式　
第10章　无比强大的网络爬虫Heritrix
第11章　搜索引擎综合实例：准备篇　
第12章　搜索引擎综合实例：下载篇
第13章　使用正则表达式与HTML Parser分析网页
第14章　网页内容存储与索引　
第15章　搜索引擎综合实例：交互篇
第16章　搜索引擎综合实例：Web篇
附录　Lucene 2.4更新内容

文档截图