Вопросы по теме 'google-bigquery'
Непредвиденная ошибка при сравнении BigQuery
Я выполнял следующий запрос к общедоступному набору данных github_nested и получил сообщение об ошибке: «Неожиданно. Повторите попытку».
SELECT IF(payload.pages.action < 'a', 3, -3) test
FROM FLATTEN([publicdata:samples.github_nested],...
09.01.2024
Streaming Insert API дросселирование
Мы оцениваем BigQuery и в рамках этого пробуем потоковую вставку API. Мы читаем из очереди kafka и отправляем полученные данные с помощью API потоковой вставки.
Документы Google говорят, что предел регулирования API составляет 10 запросов в...
14.11.2023
Разница в статистике из отчета Google Analytics и данных BigQuery в таблице Hive
У меня есть премиум-аккаунт Google Analytics, настроенный для отслеживания активности пользователей на веб-сайте и в мобильном приложении.
Необработанные данные из GA хранятся в таблицах BigQuery.
Однако я заметил, что статистика, которую я вижу...
08.01.2024
Через некоторое время загрузка задания Bigquery замедлилась
Я загружаю файлы журнала клиентов (формат csv) в bigquery в 10 различных проектах и 10 разных таблицах с помощью приложения C #.
Это процесс догоняющей загрузки. Я продолжаю загружать файлы с сервера и каждые 5 минут генерировать их для запросов...
02.01.2024
Как программно добавить описания полей в таблицу BigQuery
Я хочу программно добавить описание поля в таблицу bq, я знаю, как это сделать в пользовательском интерфейсе. У меня есть это требование, потому что в моем наборе данных есть несколько таблиц, которые обновляются ежедневно, и мы используем...
12.01.2024
Экспорт из BigQuery с использованием табличных данных: список работает медленно
Я написал простое Java-приложение для экспорта таблиц из Google BigQuery с использованием метода tabledata: list ( https://cloud.google.com/bigquery/docs/reference/v2/tabledata/list ) и использование pageToken для пейджинга. Независимо от того, что я...
17.11.2023
Фильтр даты не работает в google bigquery
Я не могу фильтровать результаты таблицы по дате. Пробовали все комбинации (= '2016-07-28', Date (2016-07-28)) и т. Д. Столбец срока действия установлен как "ДАТА" типа данных
23.12.2023
Условие случая внутренней ошибки bigquery
Я получаю внутреннюю ошибку при выполнении запроса, который в качестве особенностей включает предложение «CASE» и два разных поля в предложении «WHEN». Запрос выглядит следующим образом:
SELECT
CASE WHEN site != 'a' OR geo LIKE 'NO%' THEN...
16.01.2024
Запланировать запрос в BigQuery
У меня есть запрос BigQuery, который объединяет две таблицы (ежедневный экспорт Google Analytics). Я хочу сохранить запрос в виде представления или таблицы, но чтобы последнее представление / таблица обновлялось автоматически каждый день по мере...
22.11.2023
Дизайн хранилища данных BigQuery?
В типичной среде HDFS для Datawarehouse я видел несколько различных этапов, на которых данные размещаются и преобразуются, как показано ниже. Я пытаюсь разработать систему на облачной платформе Google, в которой я могу выполнять все эти...
22.01.2024
Bigquery и Google Cloud Storage
Я пытаюсь использовать bigquery для запроса данных из облачного хранилища Google.
Это данные для моей БД в реальном времени в firebase. Он состоит из файла json. Как я могу запросить и увидеть данные внутри каждого файла?
Я...
01.11.2023
GCP Dataflow, Dataproc, Bigtable
Я выбираю службы для написания и преобразования сообщений JSON из Cloud Pub / Sub в BigQuery для конвейера данных в Google Cloud. Я хочу минимизировать затраты на обслуживание. Я также хочу отслеживать и учитывать объем входных данных, который будет...
20.01.2024
Apache Beam + Чтение таблицы больших запросов
У меня есть набор данных в большом запросе в проекте: Project: project-x Table: table01 Dataset: dataset01
Я хотел бы подключиться к нему из Apache Beam и прочитать значение одного столбца-column01, например...
Вот что у меня есть:
import...
04.01.2024
Добавить столбцы в SQL-запрос и фильтровать по минимуму (дате) и сумме (цене)
Я пытаюсь создать список пользователей, которые совершили первую покупку в декабре 2018 года и с тех пор потратили более 100 долларов на SQL. Я могу сгенерировать список пользователей, но я не могу определить, какой была их первая покупка или другие...
27.11.2023
Объединить повторяющуюся запись в Google Big Query
У меня есть данные, которые существуют в следующей структуре JSON
{"person": "John", "children": [{"name":"Tim", "age":9},{"name":"Suszan", "age":12},{"name":"Karl", "age":14}]}
а в Big Query у него есть schmea
children RECORD...
04.01.2024
Как я могу выбрать случайное количество строк на основе различных критериев?
У меня есть таблица с тремя основными категориями: age , city и gender .
Столбец пола: boolean .
Возрастная категория находится в следующем диапазоне:
['18-25','26-35','36-45','46-55','56-65','66-75','75+']
Категория города насчитывает...
21.01.2024
Создать таблицу BigQuery на основе даты
Я пытаюсь автоматизировать создание новой таблицы в BigQuery на основе даты, например mytable_20210304, mytable_20210303, mytable_20210302, ...
Я пробовал объявить имя переменной таблицы, например
DECLARE mytable STRING DEFAULT...
22.01.2024
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально
Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение
Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования
Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv)
Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..