Nano Hash - криптовалюты, майнинг, программирование

Apache Flink: масштабируется ли состояние API таблиц?

Согласно таблице Флинка Концепции потоковой передачи API, запросы API таблиц и SQL могут завершиться ошибкой из-за увеличения размера состояния.

Размер состояния. Непрерывные запросы оцениваются в неограниченных потоках и часто должны выполняться в течение недель или месяцев. Следовательно, общий объем данных, обрабатываемых непрерывным запросом, может быть очень большим. Запросы, которые должны обновлять ранее выданные результаты, должны поддерживать все выданные строки, чтобы иметь возможность обновлять их. Например, в первом примере запроса необходимо сохранить счетчик URL-адресов для каждого пользователя, чтобы иметь возможность увеличивать счет и отправлять новый результат, когда входная таблица получает новую строку. Если отслеживаются только зарегистрированные пользователи, количество поддерживаемых счетчиков может быть не слишком большим. Однако, если незарегистрированным пользователям назначается уникальное имя пользователя, количество поддерживаемых счетчиков со временем будет расти и в конечном итоге может привести к сбою запроса.

Table API и SQL используют DataStream API под капотом.

Разве состояние запросов Table API / SQL не должно масштабироваться так же, как состояние заданий DataStream API?

apache-flink flink-sql
10.08.2018

Ответы:


1

Вы правы, полагая, что API таблиц Flink так же масштабируем, как и API DataStream. Тем не менее, любая данная инфраструктура имеет ограниченную емкость, и задание Flink, написанное так, чтобы оно использовало неограниченное состояние, в конечном итоге завершится аварийным завершением, как только оно израсходует все доступные ресурсы. Некоторые пользователи Flink обрабатывают петабайты данных каждый день и ожидают, что их работа будет выполняться неделями и месяцами подряд, что возможно, только если обратить внимание на такие проблемы.

10.08.2018
  • Спасибо, Дэвид! Да, с учетом размеров штатов это звучит разумно. Просто чтобы прояснить себе: это можно решить с помощью государственных бэкендов, верно? как указано здесь Состояние Бэкэнды 10.08.2018
  • Выбор правильного бэкэнда состояния определяет размер управляемого состояния. Однако, как только состояние продолжает расти, вам следует подумать о том, как ограничить размер состояния. Для Table API / SQL вы можете настроить время хранения состояния простоя для очистки состояния. 11.08.2018
    • Новые материалы
    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..