Совместные проекты Omdena (Часть 1): Мой опыт Omdena
Введение
Эта статья содержит краткое изложение проекта Omdena, в котором я и другие сотрудники участвовали. В ней объясняется проблема, структура сотрудничества/решения, вклад и полученные знания.
Название проекта: неконтролируемая идентификация аномалий, которые приводят к сбоям в работе центра обработки данных, с использованием процесса анализа основных причин (RCA).
Проблема:
В центрах обработки данных при обнаружении аномалии перед инженерами по надежности площадок (SRE) стоит задача как можно скорее определить и понять основную причину этой аномалии путем анализа последовательности событий, которые привели к аномалии. Эта задача по определению основной причины в большинстве случаев выполняется вручную и требует значительного времени и усилий.
Целью Sensai является сокращение человеческих усилий, необходимых для анализа первопричины, за счет автоматизации всего процесса идентификации и RCA с использованием самых современных механизмов машинного обучения и причинно-следственного вывода.
Ссылка на подробности проекта: https://omdena.com/projects/root-cause-analysis/
Описание набора данных: смоделированные и реальные данные с серверов
Сотрудничество/структура решения:
Делится на три задачи
EDA-очистка данных: они включали очистку набора данных, предоставленного командой sense ai. Были выполнены EDA и редукция признаков.
Моделирование: это включает в себя создание модели ML для обнаружения аномалий в наборе данных. Пророк FB использовался для обнаружения аномалий. Затем на нем был выполнен причинно-следственный вывод с использованием байесовских сетей.
Развертывание конвейера: это включало создание конвейера развертывания и отображение с помощью диаграмм Парето.
Мой вклад
Я помогал с очисткой данных и сокращением характеристик с помощью различных методов, таких как корреляция. Я был частью группы моделирования, где использовался причинно-следственный вывод. Мы работали с байесовскими сетями. Я также участвовал в задаче 3, которая заключалась в развертывании с помощью kafka и построении конвейера развертывания.
Полученные знания:
Я изучил новые технологии, такие как kafka, causal inference, Fb Prophet для обнаружения аномалий.
Заключение
Я многому научился из этого опыта построения модели машинного обучения для анализа аномалий и первопричин. Отличное сотрудничество и знакомство с новыми технологиями в мире ИИ.
Ссылка для присоединения к omdena: https://omdena.com/
ПИСАТЕЛЬ: ОЛУЙЕДЕ СЕГУН. А (младший)
профиль на LinkedIn: https://www.linkedin.com/in/oluyede-segun-adedeji-jr-a5550b167/
профиль Twitter: https://twitter.com/oluyedejun1
ТЕГИ: #AI #machinelearning #RCA #Anomalydetection #kafka #paretocharts
