У меня есть два отношения A, B
DESCIBE A
A:{ip_num:long,data:int}
DESCIBE B
B:{ip_start_num:long,ip_end_num:long}
Я хочу получить продукт:
C:{group:(ip_start_num:long, ip_end_num:long), B:{(ip_num:long, data:int)}}
where ip_num >ip_start_num && ip_num < ip_end_num
есть ли возможность сделать с PigLatin?
Однако вам нужно будет выполнить операцию FILTER внутри вложенного FOREACH; похоже там баг, так что такое предложение даже не разобрать. https://issues.apache.org/jira/browse/PIG-1798. Этот пост также относится к той же проблеме. ИСПОЛЬЗОВАНИЕ фильтра во вложенном FOREACH в PIG
Вчера я столкнулся с той же проблемой, и было два доступных решения: первое — написать UDF для фильтрации по диапазону IP-адресов. Во-вторых, найти способ сделать простое соединение между двумя отношениями, чтобы у вас могло быть это другое отношение:
D:{ip_num:long,data:int,ip_start_num:long,ip_end_num:long}.
Там вы можете фильтровать без вложенного foreach. Я выбрал второй вариант, однако это не всегда способ выполнить соединение.
Боюсь, в Свинье нет тета-соединений. Вы можете выполнить перекрестное соединение с последующим фильтром. Будьте осторожны с результирующим взрывом данных.
