Nano Hash - криптовалюты, майнинг, программирование

Ускорение запросов MongoDB с помощью Regex

У меня есть запрос, который может быть слишком сложным для быстрого выполнения MongoDB. Если есть что-то, что я могу изменить в настройке моей MongoDB, я бы хотел знать!

Вот пример запроса, который ищет в коллекции вакансий термин «api».

db.jobs.find(
  {
    'budget': {'$exists': true, '$ne': ''}, 
    '$or': [
      {'title': /(^|[\\s.,])api.*/gi}, 
      {'query': /api'/gi}, 
      {'description': /(^|[\\s.,])api.*/gi}
    ]
  }
)

В итоге для обработки 32000 документов требуется более 3 секунд (выдержка из MongoDB Profiler):

"ntoreturn" : 0,
"ntoskip" : 0,
"nscanned" : 0,
"nscannedObjects" : 34266,
"keyUpdates" : 0,
"writeConflicts" : 0,
"numYield" : 274,

Я думал добавить индекс для заголовка, запроса, описания, но MongoDB допускает только один текстовый индекс для каждой коллекции, в то время как у меня есть три строковых поля (заголовок, запрос, описание), которые я запрашиваю.

mongodb regex mongodb-query query-performance
13.01.2017

  • вы могли бы заменить чередование на \b ? также вам следует обратить его [\s.,]|^ скорее всего, так как первый случай должен быть самым обычным. 14.01.2017
  • вы можете создать текстовый индекс для любого количества полей. db.jobs.createIndex( { title: "text", query: "text", description: "text" } ). Попробуйте и посмотрите, улучшит ли это время ответа на ваш запрос. 14.01.2017
  • ИМО, вам нужно просмотреть свои регулярные выражения. И связанный вопрос;). 14.01.2017

Ответы:


1

Решение состояло в том, чтобы создать текстовый индекс на основе 3 полей. Я не знал, что Mongo позволяет использовать несколько полей для текстового индекса. Теперь супер быстро!

01.02.2017
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..