Вопросы по теме 'apache-pig'
Как выполнить условие JOIN в Pig?
У меня есть два отношения A, B
DESCIBE A
A:{ip_num:long,data:int}
DESCIBE B
B:{ip_start_num:long,ip_end_num:long}
Я хочу получить продукт:
C:{group:(ip_start_num:long, ip_end_num:long), B:{(ip_num:long, data:int)}}
where ip_num...
09.12.2023
Невозможно прочитать локальный файл в Pig
Я использовал Pig (установленный из Cloudera) в «локальном режиме», а не в режиме MapReduce. Скрипты отлично работали на моем ноутбуке (Mac OS). Но когда я пытаюсь использовать Pig на сервере AWS, Pig не может прочитать или записать файл.
Вот...
04.01.2024
Ограничения ETL в отношении обработки различных алгоритмов
Мне были интересны проблемы, которые не могут быть решены с помощью ETL. Как мы все знаем, мы можем извлекать данные, выполнять некоторые преобразования и обработку, а также сохранять преобразованные данные в хранилище данных. В ETL обработка также...
28.11.2023
Использование Pig, лучший способ подсчета чисел в кортежах
Я работаю с кортежами данных:
dump c;
(20
5
5
)
(1
1
1
5
10
)
Результат, которого я пытаюсь добиться, - это подсчет вхождений каждого числа в целом, например:
(1,3)
(5,3)
(10,1)
(20,1)
Я попытался выполнить эту команду, и она не...
01.11.2023
Разница во времени эпохи свиньи
У меня есть 3 столбца, которые содержат start_time , end_time и tags . Время представлено в формате времени эпохи, как показано в примере ниже. Я хочу найти строки, между которыми разница во времени составляет 1 час.
Пример:
Start_time...
19.01.2024
Разбор XML с использованием PIG
У меня есть таблица с 3 столбцами. 1-й столбец — это идентификатор, второй столбец — это имя, 3-й столбец — это XML-документ, содержащий 3 элемента. Мне нужно проанализировать XML с помощью PIG, и результирующая таблица должна содержать 5 столбцов,...
13.12.2023
Apache PIG - установить дату текущей строки в качестве даты следующей записи
В Pig у меня есть требование установить avail_until в качестве avail_since следующих записей с учетом определенного идентификатора и по умолчанию использовать 9999-12-31 для последней записи данного идентификатора. Я начинаю с упорядочения данных по...
02.01.2024
Обработка данных PIG
У меня есть следующее требование. Пожалуйста, помогите мне, как я могу обработать его с помощью apache pig?
ВВОД:
**
SYSTEM IP : 1.1.1.1
KERNEL : CENT OS
UP TIME : 0.00 , 0.00
**
IP-адрес системы: 2.2.2.2
ЯДРО: ЦЕНТР ОС
ВРЕМЯ...
06.01.2024
Скрипт Pig для замены любого разрыва строки из столбца
Я снял некоторые столбцы из CSV, используя скрипт свиньи:
Cleaned = FOREACH data generate $0 .. $8,$11 .. $27, $31 .. $41, $45 .. $97, $99 .. $111;
В столбцах, которые я сохранил, мне нужно удалить любой новый символ строки, который может...
30.10.2023
Скрипт Pig, генерирующий тысячи карт
По какой-то причине этот скрипт порождает 60 000 картографических заданий на небольшом входе:
A1 = LOAD '$directory1' USING CustomLoader AS key:chararray;
A = FOREACH A1 GENERATE CustomParser(key) AS key:chararray;
B = LOAD '$filename1' USING...
03.11.2023
Сумма свиньи не работает со значениями +ve и -ve
у меня ниже данные
primary,first,second
1,393440.09,354096.08
1,4410533.33,3969479.99
1,-4803973.41,-4323576.07
Я должен агрегировать и суммировать первый и второй столбец. Ниже приведен сценарий, который я выполняю
data_load= load...
03.12.2023
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально
Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение
Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования
Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv)
Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..