vxNQtvtQlfbi
Mapping简介 mapping是用来定义文档及其字段的存储方式、索引方式的策略，主要作用如下： 定义index下的字段名。 定义字段类型，比如数值型、浮点型、布尔型等。 定义倒排索引相关的设置，比如是否索引、记录position等。 也就是说映射决定了Elasticsearch在建立倒排索引、进行检索时对文档采取的相关策略，如数字类型、日期类型、文本类型等等。 需要注意的是：检索时用到的分析策略，要和建立索引时的分析策略相同，否则将导致数据不准确。 ES对不同的类型有不同的存储和检索策略 fulltext全文检索 比如:对fulltext型的数据类型(如text)，在索...
正排索引 文档ID到文档内容、单词的关联关系。比如书的目录页对应正排索引（指明章节名称，指明页数）用于查看章节。 倒排索引 单词到文档ID的关联关系。比如索引页对应倒排索引(指明关键词、指明页数)用于关键词查找倒排索引是搜索引擎的核心，主要包含两个部分：单词词典(TermDictionary) 记录所有文档的单词，一般都比较大。 记录单词到倒排列表的关联信息。 倒排列表(PostingList)记录了单词对应的文档集合，由倒排索引项组成。倒排索引项包含如下信息： 文档ID，用于获取原始信息。 单词频率，记录该单词在该文档中的出现次数，用于后续相关性算分。 位置，记录单词在文档中的粉刺位置...
版本 不同版本的elasticsearch-rest-high-level-client和elasticsearch之间存在兼容风险，请确保和elasticsearch版本一致，否则会出现无法预计的错误。 es配置 maven依赖 <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId> <version>7.3.0</version...
Search的运行机制 Search执行的时候分为两个运行步骤： Query阶段 Fetch阶段 Query阶段 Fetch阶段 相关性算分问题 相关性算分在shard与shard之间是相互独立的，也就意味着同一个Term的IDF等值在不同shard上是不同的，文档的相关性算分和它所处的shard相关，在文档数量不多时，会导致相关性算分严重不准的情况发生。 解决思路有两个： 1、设置分片数为1个，从根本上排除问题，在文档数量不多的时候可以考虑该方案，比如百万到千万级别的数量。 2、使用DFSQuery-Then-Fetch查询方式 排序 es默认会采用相关性算分排序...
QueryDSL入门 官网介绍链接： https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html searchapi就是对存储在elasticsearch（以下简称es）中的数据进行查询的相关API，可以类比mysql中的select语句。es中的search主要分为URISearch和QueryDSL，其中又以QueryDSL语法为主，也是我们学习es所要重点掌握的。 DSL介绍 DomainSpecificLanguage：领域特定语言 Elasticsearch基于JSON提供完整...
版本 不同版本的elasticsearch-rest-high-level-client和elasticsearch之间存在兼容风险，请确保和elasticsearch版本一致，否则会出现无法预计的错误。 es配置 maven依赖 <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId> <version>7.3.0</version...
前言 一个搜索引擎使用的时候必定需要排序这个模块，如果在不选择按照某一字段排序的情况下，都是按照打分的高低进行一个默认排序的，所以如果正式使用的话，必须对默认排序的打分策略有一个详细的了解才可以，否则被问起来为什么这个在前面，那个在后面？ 评分模型 将查询作为输入，将每一个因素最后通过公式综合起来，返回该文档的最终得分。这个综合考量的过程，就是将相关的文档被优先返回的考量过程。 Elasticsearch是基于Lucene的，所以它的评分机制也是基于Lucene的。在Lucene中把这种相关性称为得分（score），确定文档和查询有多大相关性的过程被称为打分（scoring）。 ...
聚合分析简介 聚合分析：英文为Aggregation，是es除搜索功能外提供的针对es数据做统计分析的功能。 功能丰富，提供Bucket、Metric、Pipeline等多种分析方式，可以满足大部分的分析需求。 实时性高，所有的计算结果都是即时返回的，而hadoop等大数据系统一般都是T+1级别的。 聚合框架有助于根据搜索查询提供聚合数据。聚合查询是数据库中重要的功能特性，ES作为搜索引擎兼数据库，同样提供了强大的聚合分析能力。它基于查询条件来对数据进行分桶、计算的方法。有点类似于SQL中的groupby再加一些函数方法的操作。聚合可以嵌套，由此可以组成复杂的操作（Bucketing聚合可...
创建索引及映射 PUT/tvs PUT/tvs/_mapping { "properties":{ "price":{ "type":"long" }, "color":{ "type":"keyword" }, "brand":{ "type":"keyword" }, "sold_date":{ "type":"date" } } } 插入数据 POST/tvs/_bulk {"index":{}} {"price":1000,"color":"红色","brand":"长虹","sold_date":"2019-10-28"} {"index":{}} {"price":2000,"c...
版本 不同版本的elasticsearch-rest-high-level-client和elasticsearch之间存在兼容风险，请确保和elasticsearch版本一致，否则会出现无法预计的错误。 es配置 maven依赖 <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId> <version>7.3.0</version>...
前言 在分析ES的索引的创建过程中看到了些和version相关的变量（例如：versionForIndexing）。这些个变量是用于冲突处理的。 在ES的应用场景中，使用indexAPI更新文档，可以一次性读取原始文档，做修改，然后重新索引整个文档，最近的索引请求将获胜：无论最后哪一个文档被索引，都将唯一存储在ElasticSearch中，如果其他人同时更改了这个文档，他们的更改将丢失。 很多时候丢失信息是没问题的。也许我们的主数据存储是一个关系型数据库，我们只是将数据复制到ElasticSearch中并使其可被搜索；也许两个人同时更改文档的几率很小。或者对于某些业...
前言 LoadBalance（负载均衡）的职责是将网络请求或者其他形式的负载“均摊”到不同的服务节点上，从而避免服务集群中部分节点压力过大、资源紧张，而另一部分节点比较空闲的情况。 通过合理的负载均衡算法，可以让每个服务节点获取到适合自己处理能力的负载，实现处理能力和流量的合理分配。常用的负载均衡可分为软件负载均衡（比如，日常工作中使用的Nginx）和硬件负载均衡（主要有F5、Array、NetScaler等，不过开发工程师在实践中很少直接接触到）。 常见的RPC框架中都有负载均衡的概念和相应的实现，Dubbo也不例外。Dubbo需要对Consumer的调用请求进行...
前言 ribbon是一个客户端负载均衡器，可以简单的理解成类似于nginx的负载均衡模块的功能。 LoadBalance负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。像nginx可以使用负载均衡分配流量，ribbon为客户端提供负载均衡，dubbo服务调用里的负载均衡等等，很多地方都使用到了负载均衡。 主流的LoadBalance方案可分成两类： 一种是集中式LoadBalance,即在服务的消费方和提供方之间使用独立的LB设施(可以是硬件，如F5,也可以是软件，如nginx),由该设施负责把访问请求通过某种策略转发至服务的提供方； 另一种...