У меня есть 3 столбца, которые содержат start_time , end_time и tags. Время представлено в формате времени эпохи, как показано в примере ниже. Я хочу найти строки, между которыми разница во времени составляет 1 час.
Пример:
Start_time End_Time Tags
1235000081 1235000501 "Answered"
1235000081 1235000551 "Answered"
Мне нужно получить столбец тегов, если разница во времени меньше часа.
Я хочу сделать это в PIG - кто-нибудь может помочь?
ввод.txt
1235000081 1235000501 Answered
1235000081 1235000551 Answered
сценарий свиньи
A = Load '/home/kishore/input.txt' as (col1:long, col2:long, col3:chararray);
B = Foreach A generate ToDate(col1) as startdate,ToDate(col2) as enddate,col3;
C = Filter B by GetHour(enddate)-GetHour(startdate) == 1;
Dump C;
вы можете отфильтровать строку на основе вашего условия, например >,‹,==
В случае, если вы хотите сохранить поля даты в виде временных меток, решение будет следующим:
data = LOAD '/path/to/your/input' as (Start_Time:long, End_Time:long, Tags:chararray);
data_proc = FOREACH data GENERATE *, ToDate(Start_Time*1000) as Start_Time,ToDate(End_Time*1000) as End_Time;
output = FILTER data_proc BY GetHour(End_Time)-GetHour(Start_Time) == 1;
Dump @;
Одна важная вещь заключается в том, что Pig ToDate UDF требует метки времени с точностью до миллисекунд, поэтому вам нужно будет просто умножить поля даты на 1000 перед использованием этого UDF.
