Nano Hash - криптовалюты, майнинг, программирование

GCP Dataflow, Dataproc, Bigtable

Я выбираю службы для написания и преобразования сообщений JSON из Cloud Pub / Sub в BigQuery для конвейера данных в Google Cloud. Я хочу минимизировать затраты на обслуживание. Я также хочу отслеживать и учитывать объем входных данных, который будет различаться по размеру при минимальном ручном вмешательстве. Что я должен делать?

A. Используйте Cloud Dataproc для выполнения ваших преобразований. Следите за загрузкой ЦП для кластера. Измените количество рабочих узлов в вашем кластере через командную строку.

Б. Используйте Cloud Dataproc для выполнения преобразований. Используйте команду Diagnose для создания рабочего выходного архива. Найдите узкое место и настройте ресурсы кластера.

C. Используйте Cloud Dataflow для выполнения ваших преобразований. Контролируйте отставание системы заданий с помощью Stackdriver. Используйте настройку автомасштабирования по умолчанию для рабочих экземпляров.

D. Используйте Cloud Dataflow для выполнения ваших преобразований. Следите за общим временем выполнения для выборки заданий. При необходимости настройте задание для использования типов компьютеров Compute Engine, отличных от используемых по умолчанию.

google-cloud-platform google-bigquery google-cloud-dataflow google-cloud-dataproc
21.02.2019

Ответы:


1

C!

Используйте Dataflow в pubsub, чтобы преобразовать ваши данные и позволить ему записывать строки в BQ. Вы можете отслеживать конвейер ETL прямо из потока данных и использовать stackdriver поверх. Stackdriver также можно использовать для запуска событий и т. Д.

Используйте автомасштабирование, чтобы минимизировать количество ручных действий. В основном, когда это решение настроено правильно, оно вообще не требует работы.

21.02.2019
  • Дайте мне знать, если вы согласны с ответом или если вам нужна дополнительная информация. 24.02.2019
  • Отличное объяснение. У меня есть еще несколько цитат, вы можете помочь мне ответить, я их не понимаю stackoverflow.com/questions/55059653/ stackoverflow.com/questions/55046213/bigquery-gcp-dataflow Заранее спасибо 13.03.2019
    • Новые материалы
    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..