Эксперименты машинного обучения под управлением Amazon SageMaker и MLflow

Эффективно управляйте моделями машинного обучения и экспериментами для приложений на основе генеративного искусственного интеллекта в большом масштабе с помощью MLflow

Что дает объединение Amazon SageMaker с MLflow?

Amazon SageMaker предоставляет управляемую возможность MLflow для экспериментов машинного обучения (ML) и генеративного искусственного интеллекта. Эта возможность позволяет специалистам по обработке данных легко применять MLflow в SageMaker для обучения, регистрации и развертывания моделей. Администраторы могут быстро настроить безопасные и масштабируемые среды MLflow в AWS. Специалисты по обработке данных и разработчики машинного обучения могут эффективно контролировать эксперименты машинного обучения и выбирать наиболее подходящую модель для решения бизнес-задачи.

Преимущества Amazon SageMaker с MLflow

Эффективные эксперименты с базовыми моделями (FM)

Специалисты по обработке и анализу данных с помощью MLflow могут отслеживать все параметры, выделенные на этапе доработки базовой модели, оценивать модель, тестировать модель по тестовым данным, выполнять сравнительный анализ результатов каждой модели в пользовательском интерфейсе MLflow, а затем регистрировать наиболее подходящую модель для своего варианта использования. После регистрации модели инженеры машинного обучения смогут использовать выбранную модель для вывода в SageMaker.

Не требуется обслуживание инфраструктуры

Вам не придется управлять какой-либо инфраструктурой для размещения MLflow. Специалисты по обработке данных могут использовать все возможности MLflow с открытым исходным кодом, не добавляя администраторам забот по управлению инфраструктурой. Это экономит время и средства при настройке сред обработки данных. MLflow интегрируется с сервисом Amazon Identity and Access Management (IAM), что позволяет настраивать для серверов отслеживания MLflow контроль доступа на основе ролей (RBAC).

Плавный переход от экспериментов с моделями к производственной среде

Зарегистрированные в MLflow модели будут автоматически регистрироваться и в Реестре моделей Amazon SageMaker с соответствующей картой модели Amazon SageMaker. Это позволяет специалистам по обработке данных передавать свои модели инженерам машинного обучения для развертывания в производственной среде без усилий по настройке контекста. Инженеры машинного обучения могут развертывать модели из MLflow на адресах SageMaker, не тратя силы на создание специальных контейнеров или переупаковку артефактов из модели MLflow.

Внедряйте инновации при поддержке сообщества разработчиков ПО с открытым исходным кодом

По мере развития проекта MLflow клиенты SageMaker AI смогут воспользоваться инновациями с открытым исходным кодом, созданными сообществом MLflow, сохраняя все преимущества AWS по управлению инфраструктурой.

Отслеживание эксперименты из любого места

Эксперименты с машинным обучением можно выполнять в любых средах, таких как локальные ноутбуки, среды IDE, код обучения в облаке или управляемые среды IDE в Студии Amazon SageMaker. Сочетание SageMaker AI и MLflow позволяет использовать любую среду на ваш выбор для обучения моделей, отслеживания экспериментов в MLflow и работы с пользовательским интерфейсом MLflow напрямую или через Студию SageMaker для анализа.

Совместная работа над экспериментами с моделями

Эффективное командное сотрудничество крайне важно для успешного выполнения проектов по обработке и анализу данных. SageMaker Studio позволяет управлять серверами отслеживания MLflow и экспериментами, а также изучать их, благодаря чему сотрудники могут обмениваться информацией и получать согласованные результаты экспериментов, что упрощает совместную работу.

Централизованное управление метаданными экспериментов машинного обучения

Оценка экспериментов

Чтобы выбрать лучшую модель из нескольких итераций, нужно выполнить анализ и сопоставить производительность моделей. MLflow предлагает для сравнения итераций обучения всевозможные визуализации, например точечные диаграммы, столбчатые диаграммы и гистограммы. Кроме того, MLflow позволяет оценивать предвзятость и справедливость моделей.

Централизованное управление моделями MLflow

Многие специалисты применяют MLflow для управления экспериментами, выделяя лишь некоторые модели в кандидаты на использование производственной среде. Организациям нужен простой способ отслеживать все модели-кандидаты, позволяющий принимать обоснованные решения о том, какие модели будут запущены в производство. MLflow удобно интегрируется с Реестром моделей SageMaker, что позволяет автоматически передавать модели, зарегистрированные в MLflow, в реестр моделей SageMaker вместе с картой модели SageMaker для управления. Такая интеграция позволяет специалистам по обработке данных и инженерам машинного обучения использовать разные инструменты для решения текущих задач: MLflow для экспериментов или реестр моделей SageMaker для управления жизненным циклом производства с полным отслеживанием линейки моделей.

Общий доступ к обновлениям и результатам

Развертывание моделей MLflow на адресах SageMaker

Развертывание моделей от MLflow на адресах SageMaker выполняется очень легко и устраняет необходимость создавать специализированные контейнеры для хранения моделей. Такая интеграция позволяет клиентам использовать оптимизированные контейнеры SageMaker для логических выводов, сохраняя все удобства интерфейса MLflow для ведения журналов и регистрации моделей.