Nano Hash - криптовалюты, майнинг, программирование

Разбор XML с использованием PIG

У меня есть таблица с 3 столбцами. 1-й столбец — это идентификатор, второй столбец — это имя, 3-й столбец — это XML-документ, содержащий 3 элемента. Мне нужно проанализировать XML с помощью PIG, и результирующая таблица должна содержать 5 столбцов, а именно идентификатор, имя и проанализированные элементы из XML. предложите мне несколько решений в PIG.

Вход

1,abc,Guide1Computer144,95 2,bcd,Guide2Computer250,95

Вывод должен быть

1,abc,Guide1,Компьютер1,44,95 2,bcd,Guide2,Компьютер2,50,95

apache-pig
17.07.2016

Ответы:


1

Вы должны использовать XPath для выравнивания данных в третьем столбце. Используйте FOREACH-GENERATE и оставьте 1-й и 2-й столбцы как есть и сгладьте 3-й столбец с помощью XPath. Эта ссылка может помочь вам в этом: http://hadoopgeek.com/apache-pig-xml-parsing-xpath/

18.07.2016
  • Спасибо за ответ. Ниже приведен ввод сценария ----- 1,abc,‹каталог›‹название›Guide1‹/название›‹жанр›Computer1‹/жанр›‹цена›44,95‹/цена›‹/каталог›2,bcd,‹ каталог›‹название›Руководство2‹/название›‹жанр›Компьютер2‹/жанр›‹цена›50,95‹/цена›‹/каталог› Вывод должен быть ---------------- 1 ,abc,Направляющая1,Компьютер1,44,95 2,bcd,Направляющая2,Компьютер2,50,95 19.07.2016
    • Новые материалы
    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..