Nano Hash - криптовалюты, майнинг, программирование

Записать поток в mongoDB на Java

У меня есть файл для хранения в mongoDB. Я хочу избежать загрузки всего файла (размер которого может составлять несколько МБ), вместо этого я хочу открыть поток и направить его в mongoDB, чтобы операция записи выполнялась. Я не возражаю хранить содержимое в байте с кодировкой base64 [].

Впоследствии я хочу сделать то же самое во время чтения файла, т.е. не загружать весь файл в память, а читать его в потоке.

В настоящее время я использую hibernate-ogm с сервером Vertx, но я готов переключиться на другой API, если он эффективно обслуживает причину.

Я хочу сохранить документ с несколькими полями и несколькими вложениями.

java mongodb streaming hibernate-ogm vertx3
22.03.2016

Ответы:


1

Вы можете использовать GridFS. Это рекомендуемый метод, особенно когда вам нужно хранить большие файлы (> 16 МБ):

File f = new File("sample.zip");
GridFS gfs = new GridFS(db, "zips");
GridFSInputFile gfsFile = gfs.createFile(f);
gfsFile.setFilename(f.getName());
gfsFile.setId(id);
gfsFile.save();

Или, если у вас есть InputStream in:

GridFS gfs = new GridFS(db, "zips");
GridFSInputFile gfsFile = gfs.createFile(in);
gfsFile.setFilename("sample.zip");
gfsFile.setId(id);
gfsFile.save();

Вы можете загрузить файл одним из GridFS.find методов:

GridFSDBFile gfsFile = gfs.findOne(id);
InputStream in = gfsFile.getInputStream();
22.03.2016
  • Спасибо за ответ. Можно ли использовать этот подход для документов размером менее 16 МБ? Я не ожидаю ничего более 8 МБ для моего варианта использования. 22.03.2016
  • Конечно, его можно использовать для файлов любого размера. 22.03.2016
  • Спасибо, извините, что постоянно глючу. Возможно, я не совсем ясно выразился в своем вопросе, но у меня в документе есть еще несколько полей вместе с вложенным файлом. Можно ли иметь некоторые другие поля в том же документе? как имя, тема и т. д. 22.03.2016
  • Как правило, вы должны ссылаться на свой файл из своего обычного документа, используя его идентификатор. Если данные представляют собой метаданные файла, вы можете напрямую добавить их, используя GridFSInputFile.setMetaData 23.03.2016
    • Новые материалы
    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..