Я использую Spark для чтения текстовых файлов из папки и загрузки их в куст.
Интервал подачи искры 1 мин. Исходная папка может иметь 1000 файлов большего размера в редких случаях.
Как управлять потоковой передачей искры, чтобы ограничить количество файлов, читаемых программой? В настоящее время моя программа читает все файлы, созданные за последнюю минуту. Но я хочу контролировать количество файлов, которые он читает.
Я использую API textFileStream.
JavaDStream<String> lines = jssc.textFileStream("C:/Users/abcd/files/");
Есть ли способ контролировать скорость потоковой передачи файлов?