Nano Hash - криптовалюты, майнинг, программирование

Spring boot jpa выбирает миллионы записей из БД и обрабатывает данные

Я работаю над приложением весенней загрузки, где мне нужно получить 400000 строк из базы данных и передать их в виде списка.

Как мне подойти к этому?

Я думаю о том, как разделить записи на группы по 1000 и передать их дальше.

Но в этом случае, как я укажу смещение в своем sql-запросе, например, как только я выберу первые 1000 записей, как получить 1001–2000 записей?

Другой способ - если я могу получать записи в виде потока, в этом случае мне нужно найти способ, с помощью которого я могу отправлять поток через API REST GET из моего приложения всякий раз, когда кто-то вызывает мой API.

По сути, мне нужно создать API для отдыха, где мне нужно передать эти данные тем, кто когда-либо использует мой API.

spring-boot spring spring-batch spring-data-jpa
27.11.2018

Ответы:


1

Вы можете использовать OFFSET и LIMIT. Пример: SELECT * FROM t_users ORDER BY employee_name OFFSET 1000 ROWS FETCH NEXT 1000 ROWS ONLY;

Теперь в вашем случае он будет извлекать 100 записей каждый раз, когда вы можете динамически передавать значение OFFSET.

06.09.2019
  • К сожалению, он будет получать 1000 записей каждый раз с указанным выше запросом. 06.09.2019
    • Новые материалы
    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..