Nano Hash - криптовалюты, майнинг, программирование

Как программно добавить описания полей в таблицу BigQuery

Я хочу программно добавить описание поля в таблицу bq, я знаю, как это сделать в пользовательском интерфейсе. У меня есть это требование, потому что в моем наборе данных есть несколько таблиц, которые обновляются ежедневно, и мы используем "writeMode": "WRITE_TRUNCATE". Это также удаляет описание всех имен полей таблицы.

Я также добавил описание в свой файл схемы для таблицы, например

                    {
                            "name" : "tax",
                            "type" : "FLOAT",
                            "description" : "Tax amount customer paid"
                    }

Но я не вижу описаний в своей итоговой таблице после запуска скриптов для загрузки данных.

google-bigquery
22.12.2015

  • Можете ли вы уточнить, предоставляете ли вы схему с заданием загрузки, которое указывает WRITE_TRUNCATE? Если да, то вы можете включить описание в схему (см. мой ответ ниже). Если нет, то я подозреваю, что вы наследуете исходную схему таблицы назначения, которая должна была включать исходное описание. Если это так, то это похоже на ошибку: можете ли вы предоставить project_id:job_id задания, которое столкнулось с этой проблемой? Напишите здесь или по электронной почте [email protected], спасибо. 23.12.2015

Ответы:


1

API некоторых таблиц (https://cloud.google.com/bigquery/docs/reference/v2/tables) позволяют задать описания полей таблицы и схемы

Вы можете установить описания во время
таблицы создания – https://cloud.google.com/bigquery/docs/reference/v2/tables/insert
или после создания таблицы с помощью одного из следующих API:
исправление – https://cloud.google.com/bigquery/docs/reference/v2/tables/patch
или Обновить – https://cloud.google.com/bigquery/docs/reference/v2/tables/update

Я думаю, что в вашем случае Patch API больше подходит
Ссылка ниже показывает ресурсы таблиц, которые вы можете установить с помощью этих API https://cloud.google.com/bigquery/docs/reference/v2/tables#resource

22.12.2015

2

Задания загрузки BigQuery принимают схему, которая включает «описание» для каждого поля.

https://cloud.google.com/bigquery/docs/reference/v2/jobs#configuration.load

Если вы укажете описание вместе с каждым полем, которое вы создаете во время операции WRITE_TRUNCATE, описания должны быть применены к целевой таблице.

Вот фрагмент из приведенной выше ссылки, который включает указанную вами схему:

"load": {
  "sourceUris": [
    string
  ],
  "schema": {
    "fields": [
      {
        "name": string,
        "type": string,
        "mode": string,
        "fields": [
          (TableFieldSchema)
        ],
        "description": string
      }
    ]
  },
22.12.2015
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..