Elasticsearch入门

ELK学习

简介

• 文档地址: https://www.elastic.co/guide/en/elasticsearch/reference/current/elasticsearch-intro.html

• 参考链接: https://github.com/geektime-geekbang/geektime-ELK

• 说明: Elasticsearch is the distributed search and analytics engine at the heart of the Elastic Stack. Elasticsearch provides real-time search and analytics for all types of data.

• 数据存储架构
  
• 实验环境
  
  • 6.8.1: http://10.60.42.173:5601
  • 7.1.0: http://10.60.42.170:5601

基础概念

• 节点(node) 每个Elasticsearch进程可类比为集群的一个节点
• 分片(shard) 每个索引都有多个主分片，每个分片是一个Lucene索引
• 复本分片(replica) 复本分片是主分片的备份，防止单个主分片数据的丢失
• 索引(index) 含有相同属性的文档的集合
• 文档(document) 文档是可以被索引的基本数据单位

抽象与类比

数据类型

• 文档地址: https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-types.html
• 常用数据类型
  
  • String
    
    • text
    • keyword
  • Numeric
    
    • long
    • integer
    • short
    • byte
    • double
    • float
  • Date
    
    • date
  • Boolean
    
    • boolean

mapping & setting

• 文档地址: https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping.html
• 示例

PUT /employees/
{
  "mappings" : {
      "properties" : {
        "age" : {
          "type" : "integer"
        },
        "gender" : {
          "type" : "keyword"
        },
        "job" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 50
            }
          }
        },
        "name" : {
          "type" : "keyword"
        },
        "salary" : {
          "type" : "integer"
        }
      }
    }
}
GET employees
{
  "employees" : {
    "aliases" : { },
    "mappings" : {
      "properties" : {
        "age" : {
          "type" : "integer"
        },
        "gender" : {
          "type" : "keyword"
        },
        "job" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 50
            }
          }
        },
        "name" : {
          "type" : "keyword"
        },
        "salary" : {
          "type" : "integer"
        }
      }
    },
    "settings" : {
      "index" : {
        "creation_date" : "1569033870664",
        "number_of_shards" : "1",
        "number_of_replicas" : "1",
        "uuid" : "ibWvaiBKQcOn2ve-gszKAg",
        "version" : {
          "created" : "7010099"
        },
        "provided_name" : "employees"
      }
    }
  }
}

倒排索引

• 倒排索引组成
  
  • 单词词典(Term Dictionary), 记录所有文档的单词,记录单词到倒排列表的关联关系
    
    • 单词词典一般比较大,可以通过B+树或哈希拉链法实现,以满足性能插入与查询
  • 倒排列表(Posting List) - 记录了单词对应的文档集合,由倒排索引项组成
    
    • 倒排索引项
      
      • 文档ID
      • 词频TF - 该单词在文档中出现的次数, 用于相关性评分
      • 位置(Position) - 单词在文档中分词的位置。用于语句搜索(phrase query)
      • 偏移(Offset) - 记录单词的开始结束位置,实现高亮显示
• 正排索引与倒排索引
  
• 倒排索引示例
  

分词器

• 内置分词器
  
  • Standard - 默认分词器,按词切分,小写处理
  • Simple - 按照非字母切分(符号被过滤),小写处理
  • Stop - 小写处理,停用词过滤(the, a, is)
  • Whitespace - 按照空格切分,不转小写
  • Keyword - 不分词,直接将输入当作输出
  • Patten - 正则表达式,默认\W+(非字会分隔)
  • Language - 提供了30多种常见语言的分词器
  • Customer - 自定义分词器
• 常用的中文分词器
  
  • jieba: https://github.com/huaban/elasticsearch-analysis-jieba
  • ik: https://github.com/medcl/elasticsearch-analysis-ik
  • hanlp: https://github.com/KennFalcon/elasticsearch-analysis-hanlp
  • icu: https://github.com/elastic/elasticsearch-analysis-icu
• 安装hanlp中文分词器

github: https://github.com/KennFalcon/elasticsearch-analysis-hanlp
[es@dmp-datanode02 ~]$ cd elasticsearch-7.1.0
[es@dmp-datanode02 elasticsearch-7.1.0]$ pwd
/home/es/elasticsearch-7.1.0
[es@dmp-datanode02 elasticsearch-7.1.0]$ ./bin/elasticsearch-plugin list
## 安装指定版本的分词器
[es@dmp-datanode02 elasticsearch-7.1.0]$ ./bin/elasticsearch-plugin install https://github.com/KennFalcon/elasticsearch-analysis-hanlp/releases/download/v7.1.0/elasticsearch-analysis-hanlp-7.1.0.zip
[es@dmp-datanode02 elasticsearch-7.1.0]$ ./bin/elasticsearch-plugin list
analysis-hanlp

• 示例: https://github.com/geektime-geekbang/geektime-ELK/blob/master/part-1/3.5-%E9%80%9A%E8%BF%87%E5%88%86%E6%9E%90%E5%99%A8%E8%BF%9B%E8%A1%8C%E5%88%86%E8%AF%8D/README.md

常用操作CURD

• 接口类型
  
  • Index - 如果ID不存在,创建新的文档。否则,先删除现有的文档,再创建新的文档。否则,先删除现有的文档,再创建新的文档,版本会增加
  • Create - 如果ID已经存在,会失败
  • Update - 文档必须已经存在,更新
  • Delete - 删除指定ID文档
• 示例: https://github.com/geektime-geekbang/geektime-ELK/blob/master/part-1/3.3-%E6%96%87%E6%A1%A3%E7%9A%84%E5%9F%BA%E6%9C%ACCRUD%E4%B8%8E%E6%89%B9%E9%87%8F%E6%93%8D%E4%BD%9C/README.md

基于词项与基于全文的搜索

• 查询类型
  
  • term (查询条件不作分词)
  • match (查询条件作分词)
  • match_phrase (查询条件分词仅比较分词后的位置)
• 示例: https://github.com/geektime-geekbang/geektime-ELK/blob/master/part-2/4.1-%E5%9F%BA%E4%BA%8E%E8%AF%8D%E9%A1%B9%E5%92%8C%E5%9F%BA%E4%BA%8E%E5%85%A8%E6%96%87%E7%9A%84%E6%90%9C%E7%B4%A2/README.md

结构化搜索

• bool查询
  
• 示例: https://github.com/geektime-geekbang/geektime-ELK/blob/673479033ed335b124c847d45096901a912a2320/part-2/4.4-Query%26Filtering%E5%AE%9E%E7%8E%B0%E5%A4%9A%E5%AD%97%E7%AC%A6%E4%B8%B2%E5%A4%9A%E5%AD%97%E6%AE%B5%E6%9F%A5%E8%AF%A2/README.md

聚合搜索

• 文档地址: https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations.html

• 接口类型

  • Metrics
    
    • Avg
    • Sum
    • Min
    • Max
    • Top Hints
  • Bucket
    
    • Terms
    • Range
  • Pipeline

• 示例: https://github.com/geektime-geekbang/geektime-ELK/blob/master/part-2/6.1-Bucket%26Metric%E8%81%9A%E5%90%88%E5%88%86%E6%9E%90%E5%8F%8A%E5%B5%8C%E5%A5%97%E8%81%9A%E5%90%88/README.md

网红campaign广场

• 文档地址:http://wiki.hqygou.com:8090/pages/viewpage.action?pageId=142147994

总结

• 基础概念
  
  • node
  • shard
  • replica
  • index
  • document
  • field
• 数据类型
  
  • text与keyword的区别
• 倒排索引的结构
• mapping的设置
• 查询语句
  
  • 基于词项与基于全文的搜索
    
    • match 与 match_phrase的区别
  • 结构化搜索
  • 聚合搜索
    
    • Metrics
    • Bucket