搜索引擎知识点

搜索引擎 笔记

PageRank 压缩 拼写检查和建议 查询扩展 相关反馈

1 搜索引擎和信息检索

• 什么是信息检索
• 重要问题
• 搜索引擎
• 搜索工程师

2 搜索引擎的架构

• 什么是软件架构
• 基本的构件
• 组件及其功能
  
  1. 文本采集
  2. 文本转换
  3. 索引的创建
  4. 用户交互
  5. 排序
  6. 评价
• 搜索引擎是如何工作的

3 信息采集和信息源

• 确定搜索的内容
• 网络信息爬取
  
  1. 抓取网页
  2. 时新性
  3. 面向主题的信息采集
  4. 深度网络
  5. 网站地图
  6. 分布式信息采集

4 文本处理

• 文本统计
• PageRank

5 基于索引的相关排序

• 压缩
  
  • Delta编码
  • 位对齐码
  • 实际应用中的压缩

6 查询与界面

• 查询转换与提炼
• 拼写检查和建议
• 查询扩展
• 相关反馈

7 检索模型

• 布尔检索
• 向量空间模型
• 概率模型
  
  1. 将信息检索作为分类问题
  2. BM25排序算法
• 基于排序的语言模型
  
  1. 查询项似然排序
  2. 相关性模型和伪相关反馈