Nano Hash - криптовалюты, майнинг, программирование

Запланировать запрос в BigQuery

У меня есть запрос BigQuery, который объединяет две таблицы (ежедневный экспорт Google Analytics). Я хочу сохранить запрос в виде представления или таблицы, но чтобы последнее представление / таблица обновлялось автоматически каждый день по мере загрузки новых данных Google Analytics в BigQuery.

Спасибо за вашу помощь

google-bigquery google-analytics
18.03.2017

  • Вот еще один способ использования Cloud Scheduler + Cloud Build. Заявление об ограничении ответственности: я написал сообщение в блоге. polleyg.dev/posts/bigquery-scheduler-cloud-build 23.05.2019

Ответы:


1

Обновлять

Планирование повторяющихся запросов теперь доступно в BigQuery с сентября 2018 г.

Сам по себе BigQuery не предоставляет никакого механизма планирования.

Вы можете использовать стороннее решение или разработать собственное с использованием клиента по вашему выбору
https://cloud.google.com/bigquery/docs/reference/libraries

Например,

Вы можете использовать службу Cron App Engine для автоматизации выполнения запросов BigQuery https://cloud.google.com/appengine/docs/java/config/cron https://cloud.google.com/appengine/features/#cron https://cloud.google.com/bigquery/bigquery-api-quickstart

Или вы можете использовать скрипт Google Apps Script для создания сценария запроса BigQuery с триггером на основе времени для выполнения этого сценария
https://developers.google.com/apps-script/advanced/bigquery https://developers.google.com/apps-script/guides/triggers/installable#time-driven_triggers

Также проверьте недавно представленные функции Google Cloud (бета)
https://cloud.google.com/functions/docs/

18.03.2017
  • спасибо Михаил, я покопаюсь, чтобы найти несколько примеров кода (на данный момент борюсь, но где-то должен быть готовый). Я только что прочитал, что представления обновляются автоматически при каждом запросе. Я хочу отслеживать свои данные в DataStudio, поэтому теоретически предполагаю, что каждый раз, когда отчет DataStudio загружается и подключается к представлению, он обновлял бы данные? Беспокоился, что это может стоить дорого, но может быть решением. 19.03.2017
  • Если кеширование включено, результат запроса кешируется на 12 часов в студии данных. Также есть возможность обновить отчет в студии данных, когда захотите. Таким образом, у вас есть частичный контроль над обновлением данных. Но когда мы начали использовать студию данных, мы немного подорожали. 19.03.2017
  • Спасибо @ShamshadAlam, представление работает как временное исправление, но для загрузки в datastudip требуется огромное количество времени. 22.03.2017

    • 2

    Новая функция: https://cloud.google.com/bigquery/docs/scheduling-queries

    В BigQuery сейчас бета-версия функции запланированных запросов.

    введите описание изображения здесь

    Вам нужно будет включить службу передачи данных BigQuery, а «запланированные запросы» находятся в меню службы передачи BigQuery.

    12.09.2018
  • Стоит отметить, что при использовании этой функции запланированных запросов в BigQuery расписание / задание связывается с пользователем, который его создал. Итак, вам нужно подумать, если этот человек не работает или использует учетные записи служб, которые вы не можете указать в консоли. Кроме того, это позволяет вам запускать только часть SQL за раз. Это может быть нормально в зависимости от варианта использования, но большинству из них требуется возможность запускать зависимые запросы SQL как часть конвейера. 23.05.2019
  • да. Мы тоже сталкиваемся с этими проблемами. 1) мы будем использовать функцию gmail, например bi_reports @ .... com, для настройки запланированных запросов. Это электронное письмо предназначено для настройки запланированных запросов и передачи больших запросов и т. Д., Поэтому, если сотрудники уезжают, это письмо следует передать. Я также предложил Google, чтобы они показали создателя запланированных запросов или передачи bigquery, и позволили людям сменить создателя и т. Д. 2) Да, нам все еще нужен наш конвейер. Google должен предложить простой сервисный конвейер передачи данных среди своих сервисов, таких как sql, облачное хранилище и bigquery. Это было бы замечательно. 23.05.2019
  • stackoverflow.com/questions/53152299/ && cloud.google.com/bigquery/docs/ 23.05.2019

    • 3

    Чтобы добавить к ответу Михаила, ознакомьтесь с этим простым в развертывании листом Google:

    https://docs.google.com/spreadTJ6GTQUE/INFOLLOWNOREFERRER"> https://docs.google.com/ spreadsjeta6Geet/docs/docs/docs/docs/docs/news/docs/docs/docs/docs/docs/docs/docs/docs, >

    1. Скопируйте этот лист.
    2. Настройте в соответствии с вашим запросом и местом назначения.
    3. Запустите сценарий, убедитесь, что разрешения настроены правильно.
    4. Запланируйте ежечасный / ежедневный / и т. Д. Триггер.

    введите здесь описание изображения

    Источник: https://twitter.com/anilopez/status/958382085407883264

    27.06.2018
    Новые материалы
    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..