Elasticsearch——Search API
  vxNQtvtQlfbi 2023年11月02日 28 0

search API

实现对es中存储的数据进行查询分析,endpoint为_search,如下所示:

查询主要有两种形式:

  • URI Search
    • 操作简便,方便通过命令行测试
    • 仅包含部分查询语法
  • Request Body Search
    • es提供的完备查询语法 Query DSL(Domain Specific Language)

URI Search

  • q指定查询的语句
  • df q中不指定字段室默认查询的字段,如果不指定,es会查询所有字段
  • sort 排序
  • timeout 指定超时时间,默认不潮湿
  • from,size用于分页

URI Search - Query String Syntax

  • term与phrase
    • alfred way等效于alfred OR way
    • "alfred way"词语查询,要求先后顺序
  • 泛查询:
    • alfred 等效于在所有字段去匹配该term
  • 指定字段
    • name:alfred
  • Group分组设定,使用括号指定匹配的规则
    • (quick OR brown) AND fox
    • status:(active OR pending) title:(full text search)
  • 布尔操作符
    • AND(&&)、OR(||)、NOT(!)
      • name:(tom NOT lee)
      • 注意大写,不能小写
        • 分别对应must和must_not
        • name:(tom + lee - alfred)
        • name:((lee && !alfred) || (tom && lee && !alfred))
          • 在url中会被解析为空格,要使用encode后的结果才可以,为%2B
  • 范围查询
    • 区间写法,闭区间用[],开区间用{}
      • age:[1 TO 10] 意为 1<= age <= 10
      • age:[1 TO 10} 意为 1<= age < 10
      • age:[1 TO ] 意为 age >= 1
      • age:[* TO 10] 意为 age <= 10
    • 算数符号写法
      • age:>=1
      • age:(>= 1 && <= 10)或者age:(+>= 1 +<= 10)
  • 通配符查询
    • ?代表一个字符,*代表0或者多个字符
      • name:t?m
      • name:tom*
      • name:t*m
    • 通配符匹配执行效率低,且占用较多内存,不建议使用
    • 如无特殊需求,不要将?/*放在最前面
  • 正则表达式匹配
    • name:/[mb]oat/
  • 模糊匹配 fuzzy query
    • name:roam~1
    • 匹配与roam差1个character的词,比如foam roams等
  • 近似度查询 proximity search
    • "fox quick"~5
    • 以term为单位进行差异比较,比如"quick fox" "quick brown fox" 都会被匹配

Request Body Search

将查询语句通过http request body发送到es,主要包含如下参数:

  • query符合Query DSL 语法的查询语句
  • from,size
  • timeout
  • sort

Query DSL

它基于JSON定义的查询语言,主要包含如下两种类型:

  • 字段类查询 如term,match,range等,只针对某一个字段进行查询
  • 复合查询 如bool查询等,包含一个或多个字段类查询或者复合查询语句

字段类查询 字段类查询主要包含以下两类:

  • 全文匹配:针对text类型的字段进行全文检索,会对查询语句先进行分词处理,如match,match_phrase等query类型
  • 单词匹配:不会对查询语句做分词处理,直接去匹配字段的倒排索引,如term,terms,range等query类型

match Query 对字段做全文检索,最基本和常用的查询类型,API示例如下:

  • 可以通过operator参数控制单词间的匹配关系,可选项为or和and

  • 通过minimum_should_match参数可以控制需要匹配的单词数

相关性算分

  • 相关性算分是指文档与查询语句间的相关度,英文为relevance

    • 通过倒排索引可以获取与查询语句相匹配的文档列表,那么如何将最符合用户查询需求的文档放到前列呢?
    • 本质是一个排序问题,排序的依据是相关性算分
  • 相关性算分的几个重要概念如下:

    • Term Frequency(TF)词频,即单词在该文档中出现额次数,词频越高,相关度越高
    • Document Frequency(DF)文档频率,即单词出现的文档数
    • Inverse Document Frequency(IDF)逆向文档频率,与文档频率相反,简单理解为1/DF。即单词出现的文档数越少,相关度越高
    • Field-length Norm 文档越短,相关性越高

ES目前主要有两个相关性算分模型,如下:

  • TF/IDF 模型
  • BM25 模型,5.x之后的默认模型

match phrase Query 对字段作检索,有顺序要求,API示例如下:

Query String Query

Simple Query String Query

Term Query

Terms Query

Range Query 范围查询主要针对数值和日期类型

  • 针对数值做查询如下图所示:

  • 针对日期做查询,如下所示:

Range Query - Date Math 针对日期提供的一种更友好的计算方式,格式如下:

时间单位主要有以下几种:

  • y - years
  • M - months
  • w - weeks
  • d - days
  • h - hours
  • m - minutes
  • s - seconds

Query DSL - 复合查询

符合查询是指包含字段类查询或复合查询的类型,主要包括以下几类:

  • constant_score query
  • bool query
  • dis_max query
  • function_score query
  • boosting query

constant_score query

Bool Query 布尔查询由一个或多个布尔子句组成,主要包含如下4个:

Bool Query - Filter

Bool Query - Must

Bool Query - Must_Not

Bool Query - Should Should使用分两种情况:

  • bool 查询只包含should,不包含must查询
  • bool 查询中同时包含should和must查询

Count API 获取符合条件的文档数,endpoint为_count

Source Filtering 过滤返回结果中_source中的字段,主要有如下几种方式:

参考: https://www.jianshu.com/p/7e0c291dc1be

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
  zRK4BzBUK860   2023年11月02日   35   0   0 elasticsearch字段nginx
vxNQtvtQlfbi