Я запускаю лямбду для отправки данных в Redshift через Firehose. Когда лямбда-выражение срабатывает дважды в течение небольшого промежутка времени, скажем, 1 минуты, данные сопоставляются. Это создает проблему при загрузке данных в красное смещение, и проблема заключается в обнаружении дополнительных столбцов.
например: 1-й набор данных: 1,2,3,4, 2-й набор данных: 5,6,7,8. Данные, полученные Redshift: 1,2,3,45,6,7,8
После этого, даже если лямбда-выражение сработает один раз, в Redshift не будут загружены никакие данные.
Почему это происходит? Как я могу этого избежать?
Спасибо