Я хочу создать приложение реального времени, но не знаю, следует ли мне использовать Spark Streaming или Spark Structured Streaming.
Я читал в Интернете, что структурированная потоковая передача идеально подходит для приложений реального времени, но не совсем понятно, почему...
Может ли кто-нибудь объяснить это?
Spark Streaming работает над тем, что мы называем микропакетами. ... Каждая партия представляет собой RDD. Структурированная потоковая передача работает на той же архитектуре опроса данных через некоторое время, в зависимости от вашего интервала запуска, но имеет некоторые отличия от потоковой передачи Spark, что делает ее более склонной к реальной потоковой передаче.
Для разработчиков все, что им нужно беспокоиться, это то, что при потоковой передаче Spark вы получите RDD, но при структурированной потоковой передаче Spark вы получите кадры данных и набор данных.
Если вы хотите операции очень низкого уровня (т. е. на запись), используйте для RDD (т. е. Spark Streaming), но ваше приложение может основываться на кадрах данных и запрашивать их, как SQL, в режиме реального времени, а затем переходить на DataFrames (т. е. Spark Structured Streaming)
В конечном итоге RDD можно преобразовать в кадры данных и наоборот.
