Как я могу создать Scalding
Source
, который будет обрабатывать преобразования между avro
и parquet
.
Решение должно:
1. Read from parquet format and convert to avro memory representation
2. Write avro objects into a parquet file
Примечание. Я заметил, что в Cascading есть модуль для использования бережливости и паркета. Мне приходит в голову, что это было бы хорошим местом для начала поиска. Я также открыл тему на google-groups/scalding-dev.