Вопросы по теме 'spark-streaming'
Можем ли мы начать новый поток в foreachRDD в потоковой передаче искры?
Я хочу запустить дочерний поток в foreachRDD.
Моя ситуация:
задание постоянно читает из каталога hdfs, и каждые 100 пакетов я хочу запустить задачу обучения модели (в это время я сделаю снимок rdds и запущу задачу обучения. задача обучения...
29.12.2023
Проблема с потоковой передачей файлов Spark
Я пробую простой пример потоковой передачи файлов, используя Sparkstreaming (spark-streaming_2.10, версия: 1.5.1)
public class DStreamExample {
public static void main(final String[] args) {
final SparkConf sparkConf = new...
06.11.2023
Идиоматический способ превратить источник Akka в Spark InputDStream
По сути, я пытаюсь сделать противоположное тому, что задают в этот вопрос ; то есть используйте Source[A] для вставки элементов в InputDStream[A] .
До сих пор мне удавалось собрать воедино реализацию, использующую актор Feeder и актор...
28.12.2023
Классы Spark Streaming/Kafka не найдены
Я пытаюсь создать Spark StreamingContext для потоковой передачи сообщений. из темы Кафки. Поэтому я добавил в свою сборку следующую зависимость:
"org.apache.spark:spark-streaming-kafka_2.10:1.6.2"
Затем я создал следующий класс:...
15.11.2023
Управление потоковой передачей файлов Spark
Я использую Spark для чтения текстовых файлов из папки и загрузки их в куст.
Интервал подачи искры 1 мин. Исходная папка может иметь 1000 файлов большего размера в редких случаях.
Как управлять потоковой передачей искры, чтобы ограничить...
23.12.2023
Spark Streaming — как получить результаты из функции foreachRDD?
Я пытаюсь прочитать сообщения Kafka с помощью Spark Streaming, выполнить некоторые вычисления и отправить результаты другому процессу.
val jsonObject = new JSONObject
val stream = KafkaUtils.createDirectStream[String, String, StringDecoder,...
29.12.2023
ClassCastException при преобразовании RDD в DataFrame Spark Streaming
Привет, ребята, у меня следующая проблема. Я использую Apache Spark Streaming v1.6.0 с Java, чтобы получать сообщения от IBM MQ. Я сделал свой собственный приемник для MQ, но проблема в том, что мне нужно преобразовать RDD из JavaDStream в...
05.12.2023
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально
Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение
Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования
Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv)
Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..