Обычный проект машинного обучения состоит из 4 основных этапов:
𝟭: этап формирования идей, на котором бизнес встречается со специалистами по данным, чтобы выдвинуть гипотезу, которая затем оценивается на предмет ее осуществимости.
𝟮: экспериментирование с доступными активами данных для построения PoC модели.
𝟯: Затем модель создается путем преобразования ее в систему машинного обучения — в современных MLOps это обычно означает развертывание конвейера машинного обучения в производственной среде, обеспечивающее непрерывное обучение (CT). На этом этапе ваша служба машинного обучения также становится частью более широкой системы программного обеспечения.
𝟰: Стадия мониторинга — вы отслеживаете производительность ваших моделей, работающих в продакшене. Отсюда же обратная связь будет передаваться на предыдущие этапы, создавая интересующую нас петлю обратной связи.
Существуют различные типы обратной связи, которые должны передаваться от этапа 4 к этапам 2 и 3.
𝗔: Один тип обратной связи переходит от этапа мониторинга к этапу экспериментов. Это онлайн-тестирование — мониторинг бизнес-метрики в производственной среде, по которой вы решаете оценить свою модель. Выбор будет зависеть от типа вашего бизнеса, наиболее популярными из которых являются коэффициент конверсии, рейтинг кликов, доход на пользователя и т. д.
𝗕: Существует два типа обратной связи, поступающей от этапа мониторинга к этапу развертывания:
𝘉.1: Первый тип — это регулярный мониторинг сервиса. Вы отслеживаете такие вещи, как задержка службы, коды ответов, потребление оборудования и т. д.
𝘉.2: Второй тип связан конкретно с природой систем машинного обучения и отслеживает дрейф функций и концепций.
✅ Обратная связь типа A способствует постоянному улучшению влияния вашего продукта ML на бизнес.
✅ Обратная связь типа B имеет решающее значение для надежности системы ML.
