简述如何使用 Elasticsearch Tokenizer？

ElasticSearch面试考题 0 67

参考回答

Tokenizer（分词器） 是 Elasticsearch 分析器中的重要组件，用于将输入的文本分割成一个个词条（tokens）。分词器决定了文本的切分方式，影响到文本索引和查询的效果。Elasticsearch 提供了多种内建的分词器，可以根据需要选择或自定义分词器。

1. Tokenizer 的基本概念

Tokenizer 是将输入的文本拆分成独立的词条（token）的过程，词条是 Elasticsearch 索引和查询的基本单位。
分词器与 字符过滤器（Character Filters）和 词条过滤器（Token Filters）一起构成了 分析器（Analyzer）。在分析过程中，文本首先经过字符过滤器处理，然后通过分词器拆分成多个词条，最后经过词条过滤器进一步处理（例如去除停用词、转换为小写等）。

2. 常见的内建 Tokenizer

Elasticsearch 提供了多种内建的分词器，适用于不同的文本分析需求。

2.1 Standard Tokenizer

用途：Standard Tokenizer 是默认的分词器，用于将文本按空格、标点符号和其他语法规则分割成词条，适用于大多数语言。
特点：它会基于 Unicode 的规则来分词，可以处理大部分语言，适用于通用文本处理。
示例：
“`json
"tokenizer": "standard"
“`

2.2 Whitespace Tokenizer

用途：Whitespace Tokenizer 仅根据空格将文本分割成词条，不会考虑标点符号。
特点：适用于仅依赖空格分隔的文本数据（例如，日志数据或不需要复杂分词的场景）。
示例：
“`json
"tokenizer": "whitespace"
“`

2.3 Keyword Tokenizer

用途：Keyword Tokenizer 将整个文本作为一个单一的词条，不进行任何分割处理。适用于存储 ID、标签或其他需要精确匹配的字段。
特点：输入的整个文本作为一个词条，适用于不需要分词的字段（如商品代码、URL 等）。
示例：
“`json
"tokenizer": "keyword"
“`

2.4 Pattern Tokenizer

用途：Pattern Tokenizer 通过正则表达式来分割文本，能够根据用户定义的模式将文本分割成词条。
特点：灵活性较高，适用于需要根据特定模式分词的场景。
示例：
“`json
"tokenizer": {
"type": "pattern",
"pattern": "\\W+" // 以非单词字符为分隔符
}
“`

2.5 Edge NGram Tokenizer

用途：Edge NGram Tokenizer 适用于自动补全（autocomplete）场景，它会为文本生成以每个词的前缀为基础的词条。
特点：生成前缀 n-gram，适合构建搜索建议和自动补全功能。
示例：
“`json
"tokenizer": {
"type": "edge_ngram",
"min_gram": 1,
"max_gram": 25
}
“`

2.6 NGram Tokenizer

用途：NGram Tokenizer 会将文本拆分成长度为 n 的词条片段（n-gram），适用于模糊匹配和搜索建议。
特点：与 Edge NGram Tokenizer 相比，NGram Tokenizer 会在文本的任何位置生成 n-gram，而不仅仅是前缀。
示例：
“`json
"tokenizer": {
"type": "ngram",
"min_gram": 2,
"max_gram": 3
}
“`

3. 如何使用 Tokenizer

在 Elasticsearch 中，分词器通常在 自定义分析器（Custom Analyzer）中使用。你可以通过定义自定义分析器来指定不同的分词器和其他处理步骤（如字符过滤器和词条过滤器）。

3.1 定义一个自定义分析器（Custom Analyzer）

通过 custom 类型定义自定义分析器，并指定分词器、过滤器等组成部分。

示例：

{
  "settings": {
    "analysis": {
      "tokenizer": {
        "custom_tokenizer": {
          "type": "whitespace"
        }
      },
      "analyzer": {
        "custom_analyzer": {
          "type": "custom",
          "tokenizer": "custom_tokenizer"
        }
      }
    }
  }
}

在这个示例中，我们创建了一个 custom_tokenizer，它使用 whitespace 分词器，然后通过 custom_analyzer 使用该分词器。

3.2 在映射中使用自定义分析器

定义了自定义分析器后，你可以将它应用到映射（mappings）中的字段上。

示例：

{
  "mappings": {
    "properties": {
      "description": {
        "type": "text",
        "analyzer": "custom_analyzer"
      }
    }
  }
}

这个映射将 description 字段配置为使用自定义的 custom_analyzer，而该分析器使用 whitespace 分词器进行分词。

4. 总结

Tokenizer 在 Elasticsearch 中用于将文本拆分为词条，影响数据的索引和查询效率。
Elasticsearch 提供了多种内建的 tokenizer，如 standard、whitespace、keyword 等，适用于不同的文本处理需求。
用户可以通过 自定义分析器 灵活配置多个 tokenizer 和其他分析步骤，满足特定的文本处理需求。
合理选择 tokenizer 和分析器，能显著提高索引性能和查询精度。

通过灵活地使用不同类型的 tokenizer，你可以根据不同的文本数据和查询需求，定制合适的文本处理方式。