Nano Hash - криптовалюты, майнинг, программирование

I18n поиск и фильтрация в Elasticsearch

TLDR;

Как сопоставить и отфильтровать локализованный поиск с локализованным индексом?

длинная версия

У меня есть приложение, в котором поиск пользователя должен выполняться в контексте его языка.

В индексе эластичного поиска мне нужны документы как со свойствами i18n, так и со свойствами, отличными от i18n (я хочу избежать создания нескольких индексов, по одному для каждого языка).

Отображение документа должно выглядеть так:

'entry': {
'properties': {
  'name' : {'type': 'string'}, /* unlocalized properties */
  'category': { /* localized properties */
      "properties" : {
          "lang_fr" : {
              "type" : "string"
          },
          "lang_de" : {
              "type" : "string"
          }
      }
  },}}

имея это, у меня есть два требования:

1) Сопоставление: при выполнении поиска исключайте из поиска локализованные поля, которые не связаны с языком пользователя (скажем, язык пользователя «fr», я хочу исключить поля «de» из поиск. Как это сделать, не указывая весь список полей, по которым я хочу выполнить поиск. Для начала я попробовал это, но это не работает:

{
  "query": {
    "match": {
      "*.lang_fr": "full_text"
    }
  }
}

Однако "categories.lang_fr": "full_text" работает хорошо. Но я не хочу поддерживать список полей в запросе. Я хочу общее правило, как вы можете сделать в SolR.

2) Фильтрация: когда я получаю свои результаты, я хочу отфильтровать все локализованные поля, которые не соответствуют моему языку пользователя. Другими словами, используя исходный фильтр, я хотел бы иметь все нелокализованные поля, исключить все поля, начинающиеся с "lang", но включить все поля с "lang_fr". Я пробовал следующее, но это не работает:

{
"_source": {
    "include": [ "*", "*.lang_fr" ],
    "exclude": [ "*.lang_*" ],
}
...}

оператор подстановочного знака, похоже, не работает. У меня частично есть то, что я хочу, если я укажу "categories.lang_de", но опять же, я не хочу поддерживать список полей, я хочу общее правило. Операция включения/исключения работает не так, как хотелось бы. Единственное, что на самом деле работает, — это запрос, в котором я указываю все языки для исключения специально для всех полей, например:

{
"_source": {
    "exclude": [ "categories.lang_de", "categories.lang_en",  "categories.lang_it", 
                         "another_field.lang_de", "catanother_fieldgories.lang_en",  "another_field.lang_it"],
}
...}

для поиска 'fr'.

Я очень удивлен, что ничего не нашел в гугле. Я вижу это как очень стандартный случай применения i18n к elasticsearch. Может быть, я неправильно моделирую i18n в ES?

заранее спасибо !


Ответы:


1

Вы можете достичь первого, используя query_string запрос, использующий преимущества мощного языка выражений Lucene и позволяющий указать подстановочный знак в именах полей:

{
  "query": {
    "query_string": {
      "query": "\\*.lang_fr:full_text"
    }
  }
}

или вы также можете указать имя поля в параметре fields, например

{
  "query": {
    "query_string": {
      "query": "full_text"
      "fields": ["*.lang_fr"]
    }
  }
}

Что касается вашего второго, фильтрация источников действительно подходит, но я предлагаю просто исключить все языки, кроме того, который вы ищете. Например, если поиск осуществляется на французском языке, вы просто исключите все остальные языки, не обязательно перечисляя все поля, просто все языки, которые вам не нужны (которых будет гораздо меньше). Это позволит вам добавлять локализованные поля по мере необходимости, не изменяя запрос.

{
"_source": {
    "exclude": [ "*.lang_de", "*.lang_it" ],
}
...}
02.12.2015
Новые материалы

Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..

Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..

Частный метод Python: улучшение инкапсуляции и безопасности
Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..

Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..

Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..

Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..

Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..