基础知识回顾
分析器的组成结构：
分析器（analyzer）
- Character filters （字符过滤器）0个或多个
- Tokenizer （分词器）有且只有一个
- Token filters （token过滤器）0个或多个
内置分析器
1、whitespace 空白符分词
POST _analyze
{
"analyzer": "whitespace",
"text": "你好 世界"
}
{
"tokens": [
{
"token": "你好",
"start_offset": 0,
"end_offset": 2,
"type": "word",
"position": 0
},
{
"token": "世界",
"start_offset": 3,
"end_offset": 5,
"type": "word",
"position": 1
}
]
}
2、pattern正则表达式分词，默认表达式是\w+(非单词字符)
配置参数
pattern ： 一个Java正则表达式，默认 \W+
flags ： Java正则表达式flags。比如：CASE_INSENSITIVE 、COMMENTS
lowercase ： 是否将terms全部转成小写。默认true
stopwords ： 一个预定义的停止词列表，或者包含停止词的一个列表。默认是 _none_
stopwords_path ： 停止词文件路径
// 拆分中文不正常
POST _analyze
{
"analyzer": "pattern",
"text": "你好世界"
}
{
"tokens": []
}
// 拆分英文正常
POST _analyze
{
"analyzer": "pattern",
"text": "hello world"
}
{
"tokens": [
{
"token": "hello",
"start_offset": 0,
"end_offset": 5,
"type": "word",
"position": 0
},
{
"token": "world",
"start_offset": 6,
"end_offset": 11,
"type": "word",
"position": 1
}
]
}
// 在索引上自定义分析器-竖线分隔
PUT my-blog
{
"settings": {
"analysis": {
"analyzer": {
"vertical_line": {
"type": "pattern",
"pattern": "\\|"
}
}
}
},
"mappings": {
"doc": {
"properties": {
"content": {
"type": "text",
"analyzer": "vertical_line"
}
}
}
}
}
// 测试索引分析器
POST /blog-v4/_analyze
{
"analyzer": "vertical_line",
"text": "你好|世界"
}
POST /blog-v4/_analyze
{
"field": "content",
"text": "你好|世界"
}
// 两者结果都是
{
"tokens": [
{
"token": "你好",
"start_offset": 0,
"end_offset": 2,
"type": "word",
"position": 0
},
{
"token": "世界",
"start_offset": 3,
"end_offset": 5,
"type": "word",
"position": 1
}
]
}