技术控:自己动手写搜索引擎全流程PDF教程,打造一个属于自己的 Google

Google 神话

1995 年，两个年轻的学生 Larry Page 和 Sergey Brin 在一点上达成了共识——从大量数
据检索信息是计算系统面临的最大的挑战之一。1996 年，他们创建了一个叫做 BackRub 的
搜索引擎。这个搜索引擎后来叫做 Google。1998 年，Page 和 Brin 在 Larry 的大学宿舍创立
Google 公司的第一个数据中心。2000 年，Google 开始成为全球最大的搜索引擎一直到现在。
2005 年，Google 股票市值超过 1000 亿美元。公司首次登陆华尔街时，“让世界更美好”便
是他们阐明的目标之一。

体验搜索引擎

你想起什么大脑没有记住的知识了吗？用搜索引擎吧。它往往不会让你失望。
事实上这正是 Google 的创始人设想的。“如果你想搜就能搜，几乎像拥有第二个大脑，
那就妙极了，”他说。就在 Brin (一直是两人中站在前台的那个)说在兴头上的时候，Page 在
不声不响地稍稍露面之后，便带着“共谋者般的微笑”溜出了房间。
但是不要感到 Google 已经完成所有的事情，没有什么事情留下来给我们做了。

下面是这本教程目录：

自己动手写搜索引擎…………………………………………………………………………….1

第 1 章 了解搜索引擎……………………………………………………………………………1

1.1Google神话……………………………………………………………….1

1.2 体验搜索引擎………………………………………………………………1

1.3 你也可以做搜索引擎…………………………………………………….4

1.4 本章小结………………………………………………………………….4

第 2 章 遍历搜索引擎技术………………………………………………………………………5

2.1   30 分钟实现的搜索引擎………………………………………………..5

• 2.1.1 准备工作环境（10 分钟）…………………………………………5
• 2.1.2 编写代码（15 分钟）………………………………………………6
• 2.1.3 发布运行（5 分钟）………………………………………………9

2.2 搜索引擎基本技术………………………………………………………..14

• 2.2.1 网络蜘蛛………………………………………………………………14
• 2.2.2 全文索引结构…………………………………………………………14
• 2.2.3 Lucene 全文检索引擎……………………………………………..15
• 2.2.4 Nutch 网络搜索软件……………………………………………….15
• 2.2.5 用户界面…………………………………………………………..17

2.3 商业搜索引擎技术介绍………………………………………………….17

• 2.3.1 通用搜索…………………………………………………………..17
• 2.3.2 垂直搜索………………………………………………………………18
• 2.3.3 站内搜索………………………………………………………………19
• 2.3.4 桌面搜索………………………………………………………………21

2.4 本章小结……………………………………………………………………..21

第 3 章 获得海量数据……………………………………………………………………………22

3.1 自己的网络蜘蛛…………………………………………………………….22

• 3.1.1 BerkeleyDB 介绍……………………………………………………27
• 3.1.2 抓取网页………………………………………………………………….28
• 3.1.3 MP3 抓取…………………………………………………………….29
• 3.1.4 RSS 抓取……………………………………………………………….30
• 3.1.5 图片抓取…………………………………………………………………33
• 3.1.6 垂直行业抓取…………………………………………………………34

3.2 抓取数据库中的内容………………………………………………………36

• 3.2.1 建立数据视图………………………………………………………….36
• 3.2.2 JDBC 数据库连接…………………………………………………….36
• 3.2.3 增量抓取……………………………………………………………….38

3.3 抓取本地硬盘上的文件……………………………………………………38

• 3.3.1 目录遍历…………………………………………………………………38

3.4 本章小结………………………………………………………………….40

第 4 章 提取文档中的文本内容………………………………………………………………..41

4.1 从 HTML 文件中提取文本 ……………………………………………..41

• 4.1.1 HtmlParser 介绍……………………………………………………..49
• 4.1.2 结构化信息提取………………………………………………….52
• 4.1.3 网页去噪………………………………………………………………….58
• 4.1.4 网页结构相似度计算…………………………………………………….61
• 4.1.5 正文提取的工具 FireBug………………………………………………62
• 4.1.6 正文提取的工具 NekoHTML………………………………………..64
• 4.1.7 正文提取………………………………………………………………….66

4.2 从非 HTML 文件中提取文本 …………………………………………….77

• 4.2.1 TEXT 文件……………………………………………………………….77
• 4.2.2 PDF 文件 ………………………………………………………………….77
• 4.2.3 Word 文件………………………………………………………………..85
• 4.2.4 Rtf 文件…………………………………………………………………86
• 4.2.5 Excel 文件…………………………………………………………..87
• 4.2.6 PowerPoint 文件…………………………………………………….88

4.3 流媒体内容提取…………………………………………………………….89

• 4.3.1 音频流内容提取………………………………………………………..89
• 4.3.2 视频流内容提取…………………………………………………………91

4.4 抓取限制应对方法…………………………………………………………..93

4.5 本章小结……………………………………………………………………….94

第 5 章 自然语言处理…………………………………………………………………………….95

5.1 中文分词处理………………………………………………………………….95

• 5.1.1 Lucene 中的中文分词……………………………………………….95
• 5.1.2 Lietu 中文分词的使用 ……………………………………………….96
• 5.1.3 中文分词的原理………………………………………………………96
• 5.1.4 查找词典算法………………………………………………………….99
• 5.1.5 最大概率分词方法………………………………………………..102
• 5.1.6 新词发现………………………………………………………………..105
• 5.1.7 隐马尔可夫模型……………………………………………………..106

5.2 语法解析树………………………………………………………………….108

5.3 文档排重……………………………………………………………………..108

5.4 中文关键词提取…………………………………………………………….110

• 5.4.1 关键词提取的基本方法………………………………………….110
• 5.4.2 关键词提取的设计……………………………………………….. 111
• 5.4.3 从网页提取关键词………………………………………………… 111

5.5 相关搜索……………………………………………………………………. 111

5.6 拼写检查………………………………………………………………114

• 5.6.1 英文拼写检查………………………………………………………….114
• 5.6.2 中文拼写检查………………………………………………………….115

5.7 自动摘要………………………………………………………………………120

• 5.7.1 自动摘要技术………………………………………………………….120
• 5.7.2 自动摘要的设计……………………………………………………….120
• 5.7.3 Lucene 中的动态摘要………………………………………….128

5.8 自动分类……………………………………………………………………..128

• 5.8.1 Classifier4J…………………………………………………………….129
• 5.8.2 自动分类的接口定义………………………………………………….131
• 5.8.3 自动分类的 SVM 方法实现………………………………………….132
• 5.8.4 多级分类………………………………………………………………….132

5.9 自动聚类…………………………………………………………………134

• 5.9.1 聚类的定义…………………………………………………………..134
• 5.9.2 K 均值聚类方法………………………………………………..135
• 5.9.3 K 均值实现…………………………………………………………….135

5.10 拼音转换……………………………………………………………………..142

5.11 语义搜索……………………………………………………………………..143

5.12 跨语言搜索………………………………………………………………….147

5.13 本章小结……………………………………………………………………..148

第 6 章 创建索引库……………………………………………………………………………149

6.1 设计索引库结构……………………………………………………………150

• 6.1.1 理解 Lucene 的索引库结构………………………………………150
• 6.1.2 设计一个简单的索引库…………………………………………….152

6.2 创建和维护索引库………………………………………………………….153

• 6.2.1 创建索引库……………………………………………………………153
• 6.2.2 向索引库中添加索引文档………………………………………….153
• 6.2.3 删除索引库中的索引文档…………………………………………155
• 6.2.4 更新索引库中的索引文档…………………………………………155
• 6.2.5 索引的合并…………………………………………………………….155
• 6.2.6 索引的定时更新………………………………………………156
• 6.2.7 索引的备份和恢复………………………………………………157
• 6.2.8 修复索引……………………………………………………158

6.3 读写并发控制………………………………………………………….158

6.4 优化使用 Lucene………………………………………………………159

• 6.4.1 索引优化…………………………………………………….159
• 6.4.2 查询优化…………………………………………………………..161
• 6.4.3 实现时间加权排序……………………………………………….166
• 6.4.4 实现字词混合索引…………………………………………….167
• 6.4.5 定制 Similarity………………………………………………..173
• 6.4.6 定制 Tokenizer………………………………………………..174

6.5 查询大容量索引………………………………………………………….176

6.6 本章小结…………………………………………………………………..177

第 7 章 用户界面设计与实现…………………………………………………………………177

7.1 Lucene 搜索接口(search 代码)……………………………………..178

7.2 搜索页面设计……………………………………………………179

• 7.2.1 用于显示搜索结果的 taglib………………………………….179
• 7.2.2 用于搜索结果分页的 taglib……………………………………181
• 7.2.3 设计一个简单的搜索页面………………………………………..183

7.3 实现搜索接口………………………………………………………..186

• 7.3.1 布尔搜索………………………………………………………….186
• 7.3.2 指定范围搜索……………………………………………….186
• 7.3.3 设置过滤条件……………………………….错误!未定义书签
• 7.3.4 搜索结果排序…………………………………………………191
• 7.3.5 搜索页面的索引缓存与更新………………………………..192

7.4 实现关键词高亮显示……………………………………………194

7.5 实现多维视图………………………………………………..196

7.6 实现相似文档搜索…………………………………………………….202

7.7 实现 AJAX 自动完成 ………………………………………………….205

• 7.7.1 总体结构………………………………………………….206
• 7.7.2 服务器端处理……………………………………………….206
• 7.7.3 浏览器端处理………………………………………………..208
• 7.7.4 服务器端改进………………………………………………..209
• 7.7.5 部署总结………………………………………………………….219

7.8 jQuery 实现的自动完成…………………………………………….219

7.9 集成其他功能……………………………………………………….225

• 7.9.1 拼写检查………………………………………………………..225
• 7.9.2 分类统计…………………………………………………..226
• 7.9.3 相关搜索………………………………………….226
• 7.9.4 再次查找……………………………………………………….229
• 7.9.5 搜索日志………………………………………………………..229

7.10 搜索日志分析………………………………………………………231

7.11 本章小结……………………………………………………………….234

第 8 章 其他高级主题…………………………………………………………………………238

8.1 使用 Solr 实现分布式搜索…………………………………………..235

• 8.1.1 Solr 服务器端的配置与中文支持………………………..235
• 8.1.2 把数据放进 Solr……………………………………………….240
• 8.1.3 删除数据…………………………………………………………243
• 8.1.4 客户端搜索界面………………………………………………..244
• 8.1.5 Solr 索引库的查找………………………………………………245
• 8.1.6 索引分发……………………………………………………….249
• 8.1.7 Solr 搜索优化……………………………………………………..249
• 8.1.8 Solr 中字词混合索引…………………………………………..252
• 8.1.9 相关检索………………………………………………………….256
• 8.1.10 搜索结果去重…………………………………………………..258
• 8.1.11 分布式搜索………………………………………………………263
• 8.1.12 SolrJ 查询分析器………………………………………………..267
• 8.1.13 扩展 SolrJ ………………………………………………………….279
• 8.1.14 扩展 Solr…………………………………………………………280
• 8.1.15 Solr 的.net 客户端……………………………………………288
• 8.1.16 Solr 的 php 客户端……………………………………….289

8.2 图片搜索……………………………………………………………….294

• 8.2.1 图像的 OCR 识别……………………………………………….295

8.3 竞价排名…………………………………………………………………299

8.4 Web 图分析 ……………………………………………………………300

8.5 使用并行程序分析数据……………………………………………305

8.6 RSS 搜索 …………………………………………………………………..306

8.7 本章小结……………………………………………………………….307

参考资源……………………………………………………………….308

• 书籍…………………………………………………………………………308
• 网址…………………………………………………………………………….308

本书中的章节和代码对照表309

PDF教程，有兴趣的学习的点击下方左下角“阅读原文“下载