MLOps (Machine Learning Operations) – это практика управления жизненным циклом конечных моделей машинного обучения. Она объединяет DevOps, Data Engineering и Data Science, чтобы обеспечить надежное развертывание, мониторинг и управление моделями машинного обучения в производственной среде. MLOps включает в себя автоматизацию процессов разработки и масштабирование моделей, чтобы обеспечить их производительность, надежность и масштабируемость.
Слово является смесью слов “машинное обучение” (ML) и практик непрерывной разработки — DevOps в области программного обеспечения. Модели машинного обучения тестируются и разрабатываются в изолированных экспериментальных системах. Когда алгоритм готов к запуску, MLOps используется учеными в области данных, DevOps, и инженерами машинного обучения для его доставки в производственные системы. Также как при использовании DevOps или DataOps подходах, MLOps нацелен на рост автоматизации и улучшения качества производственных моделей, в то же время фокусируясь на бизнес и нормативных требованиях. Хотя MLOps начинался как набор самых лучших практик, он медленно эволюционировал в независимый подход к управлению жизненного цикла машинного обучения. Практики MLOps применяются к целому жизненному циклу — от интеграции c генерацией модели, непрерывной интеграцией/непрерывной доставкой, оркестровкой, и развертыванием, до метрик состояния, диагностики, управления и бизнеса. Согласно компании Gartner, MLOps является подмножеством ModelOps. Он сфокусирован на операционализации моделей машинного обучения, в то время как ModelOps охватывает операционализацию всех типов моделей искусственного интеллекта (AI).
Системы машинного обучения можно разделить на 8 различных категорий: сбор данных, обработка данных, конструирование признаков, разметка данных, проектирование модели, тренировка модели и её оптимизация, развертывание на конечной точке, и мониторинг конечной точки. Каждый шаг в жизненном цикле машинного обучения построен на своей собственной системе, но требует взаимосвязи. Представленные выше категории являются минимальным набором систем, необходимых предприятиям для масштабирования машинного обучения внутри организаций.
MLOps может помочь предприятиям различными способами, и становится все более популярным среди компаний как способ повышения производительности и создания надежных моделей корпоративного уровня. Команды используют MLOps, чтобы изменить ситуацию в различных отраслях, начиная от инновационных новых фирм и заканчивая крупными подразделениями общественного транспорта. Ниже перечислены основные преимущества, которых разработчик может достичь с помощью MLOps.
Меньше времени на сбор и подготовку данных – На нашем примере, специалисты по анализу данных, системные интеграторы и инженеры по разработке решений должны были тратить много времени на повторяющиеся действия по сбору или подготовке данных, прежде чем они могли приступить к работе с моделью и применить кейсы на практике. Однако эти усилия были кропотливыми и дорогостоящими, поскольку перед созданием модели приходилось выделять много высококвалифицированных сотрудников. Минимизируя оперативную работу, MLOps может помочь специалистам по анализу данных и инженерам-программистам сэкономить время и деньги.
Масштабируемость: MLOps также обеспечивает огромную масштабируемость и управление, позволяя осуществлять надзор, контроль, управление и мониторинг тысяч моделей для непрерывной интеграции (CI), непрерывной доставки (CD) и развертывания.
Снижение рисков: На протяжении всего жизненного цикла модели MLOps предоставляет комплексные инструменты мониторинга, визуализации дрейфа данных и обнаружения метрик данных для поддержания высокой точности. Он использует методы аналитики и оповещения для обнаружения аномалий в разработке машинного обучения, что позволяет инженерам немедленно оценить серьезность проблемы и принять соответствующие меры.
Уменьшение предвзятости: MLOps помогает избежать предвзятости при разработке, которая может привести к искажению потребностей клиентов или юридической проверке организации. Технологии MLOps гарантируют, что отчеты о данных не содержат неточных данных. MLOps позволяет разрабатывать динамические системы, которые не ограничены рамками отчетности.
Простота развертывания высокоточных моделей — Технология MLOPs позволяет пользователям легко и уверенно развертывать высокоточные модели. Она использует преимущества автономной масштабируемости, управляемых кластеров CPU и GPU и облачного распределенного обучения. Вы можете быстро собирать модели, гарантируя отличное качество на каждом этапе с помощью профилирования и проверки этих моделей, а также переносить модели в производственную среду с помощью управляемого развертывания.
В настоящее время наиболее развитой технологией в сфере MLops является Kubeflow, основанная на Kubernetes и Docker.