Nano Hash - криптовалюты, майнинг, программирование

Как мне динамически сопоставлять файлы в Copy Activity для загрузки данных в место назначения

Фабрика данных Azure версии 2 - действие копирования - копирование данных из раздела "Изменение имен столбцов и количества столбцов" в место назначения. Мне нужно скопировать данные из плоского файла, где количество столбцов будет изменяться в каждом файле и даже имена столбцов. Как мне динамически сопоставить их в действии копирования, чтобы загрузить данные в место назначения в фабрике данных Azure V2.

Предположим, что в моем месте назначения 20 столбцов, но источник будет иногда в виде 10 столбцов или 15, а иногда и 20. Если исходные столбцы меньше целевого значения, то оставшиеся значения столбцов в месте назначения должны быть переданы как Null.

azure-data-factory-2 azure-data-factory
13.11.2019

  • Если вам нужно быть полностью гибким, самый простой способ - использовать действие, которое запускает внешний инструмент, такой как лазурная функция или записная книжка блоков данных. Я использую Databricks для больших файлов с динамическим содержимым. Для файлов меньшего размера лучше использовать лазурную функцию. В какую раковину вы пишете? 13.11.2019
  • Приемник - База данных SQL Azure 13.11.2019
  • Я согласен с Марком Кромером. Это может быть самый простой способ для приемников базы данных SQL Azure. 14.11.2019

Ответы:


1

Используйте потоки данных в ADF. Приемники потока данных могут генерировать схему таблицы на лету, если хотите. Или вы можете просто «автоматически сопоставить» любую изменяющуюся схему с вашей целью. Если ваша исходная схема часто меняется, просто используйте «дрейф схемы» без какой-либо схемы, определенной в вашем наборе данных.

13.11.2019
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..