Я оцениваю инструменты для производственных приложений на основе машинного обучения, и один из наших вариантов - Spark MLlib, но у меня есть несколько вопросов о том, как обслуживать модель после ее обучения?
Например, в Azure ML после обучения модель отображается как веб-служба, которую можно использовать из любого приложения, как и в случае с Amazon ML.
Как вы обслуживаете / развертываете модели машинного обучения в Apache Spark?
С одной стороны, модель машинного обучения, построенная на Spark, не может быть использована так, как вы работаете в Azure ML или Amazon ML традиционным способом.
Databricks утверждает, что может развертывать модели с помощью ноутбука, но на самом деле я этого еще не пробовал.
С другой стороны, вы можете использовать модель тремя способами:
MLWriter, затем загрузите приложение или записную книжку и запустите ее с вашими данными.Это три возможных пути.
Конечно, вы можете подумать об архитектуре, в которой у вас есть служба RESTful, за которой вы можете построить, используя Spark-jobserver для каждого примера, для обучения и развертывания, но требует некоторой доработки. Это не готовое решение.
Вы также можете использовать такие проекты, как Oryx 2, для создания полной лямбда-архитектуры для обучения, развертывания и обслуживания модели.
К сожалению, описание каждого из упомянутых выше решений довольно обширно и не укладывается в рамки SO.
Один из вариантов - использовать MLeap для обслуживания Spark PipelineModel в Интернете без зависимостей от Spark / SparkContext. . Отсутствие необходимости использовать SparkContext важно, поскольку это снизит время оценки для отдельной записи с ~ 100 мс до однозначных микросекунд.
Чтобы использовать его, вам необходимо:
MLeap хорошо интегрирован со всеми этапами конвейера, доступными в Spark MLlib (за исключением LDA на момент написания этой статьи). Однако все может немного усложниться, если вы используете собственные оценщики / преобразователи.
Взгляните на FAQ по MLeap для получения дополнительной информации о настраиваемых преобразователях / оценках, производительности и интеграция.
Вы сравниваете две довольно разные вещи. Apache Spark - это вычислительный движок, хотя упомянутые вами решения Amazon и Microsoft предлагают услуги. С таким же успехом у этих сервисов может быть Spark с MLlib. Они избавляют вас от проблем с созданием веб-сервиса самостоятельно, но вы платите дополнительно.
Ряд компаний, например Domino Data Lab, Cloudera или IBM, предлагают продукты, которые вы можете развернуть в собственном кластере Spark и легко построить сервис на основе ваших моделей (с различной степенью гибкости).
Естественно, вы сами создаете сервис с помощью различных инструментов с открытым исходным кодом. Что конкретно? Все зависит от того, что вам нужно. Как пользователь должен взаимодействовать с моделью? Должен быть какой-то UI или REST API? Вам нужно изменить какие-то параметры модели или самой модели? Задания больше носят пакетный характер или выполняются в режиме реального времени? Естественно, вы можете создать комплексное решение, но это потребует огромных усилий.
Моя личная рекомендация - по возможности воспользоваться одной из доступных услуг Amazon, Google, Microsoft или других компаний. Требуется локальное развертывание? Проверьте Domino Data Lab, их продукт зрелый и позволяет легко работать с моделями (от создания до развертывания). Cloudera больше ориентирована на кластерные вычисления (включая Spark), но пройдет некоторое время, прежде чем у них появится что-то зрелое.
[EDIT] Я бы порекомендовал взглянуть на Apache PredictionIO, сервер машинного обучения с открытым исходным кодом - потрясающий проект с большим потенциалом.
Я просто смог заставить это работать. Предостережения: Python 3.6 + с использованием Spark ML API (не MLLIB, но уверен, что он должен работать таким же образом)
В основном следуйте этому примеру, приведенному на github AzureML от MSFT.
Предупреждение: код будет подготовлен как есть, но в конце примера метода run() есть ошибка:
#Get each scored result
preds = [str(x['prediction']) for x in predictions]
result = ",".join(preds)
# you can return any data type as long as it is JSON-serializable
return result.tolist()
Должно быть:
#Get each scored result
preds = [str(x['prediction']) for x in predictions]
#result = ",".join(preds)
# you can return any data type as long as it is JSON-serializable
output = dict()
output['predictions'] = preds
return json.dumps(output)
Кроме того, полностью согласен с ответом на оценку MLeap, это может ускорить процесс, но подумал, что отвечу на этот вопрос конкретно
