Платформа Selectel для инференса ML-моделей выделяется среди стандартных решений, таких как деплой с Helm chart и Triton в Kubernetes, благодаря пяти ключевым элементам. Во-первых, используется Canary Deployment на основе Istio для плавного обновления моделей и тестирования новых версий на ограниченном трафике. Это позволяет минимизировать риски и обеспечить стабильную работу сервиса.
Во-вторых, платформа поддерживает автоматическое масштабирование, используя Prometheus-адаптер для отслеживания метрик и Horisontal Pod Autoscaler (HPA) для управления количеством реплик. Процесс автоскейлинга ускорен за счет кэширования весов моделей в NFS или S3, а также благодаря применению сжатия ZSTD для образов. Для GPU-ресурсов применяются технологии разделения, такие как MIG, TimeSlicing и MPS, что позволяет эффективно использовать имеющиеся мощности.
В-третьих, для создания сложных цепочек моделей платформа предлагает использование инференс-графов на основе Ray Serve. Этот подход позволяет объединять различные модели, запущенные на разных нодах, для решения комплексных задач, например, транскрибации аудио и генерации изображений. Несмотря на существующие сложности с распределением деплоев на worker-нодах, платформа обеспечивает гибкость в создании сложных ML-пайплайнов.
В-четвертых, платформа оптимизирует работу Triton Inference Server, применяя батчинг запросов для увеличения пропускной способности и использует инструменты Model Analyzer и Model Navigator для подбора оптимальных конфигураций и форматов моделей. Такой подход позволяет значительно ускорить инференс и снизить затраты. Наконец, пользовательский интерфейс платформы реализован на базе Grafana, Kiali и Jaeger, что обеспечивает удобное мониторинга и визуализацию метрик, трафика и логов без необходимости привлекать фронтенд-разработчиков.
Изображение носит иллюстративный характер
Во-вторых, платформа поддерживает автоматическое масштабирование, используя Prometheus-адаптер для отслеживания метрик и Horisontal Pod Autoscaler (HPA) для управления количеством реплик. Процесс автоскейлинга ускорен за счет кэширования весов моделей в NFS или S3, а также благодаря применению сжатия ZSTD для образов. Для GPU-ресурсов применяются технологии разделения, такие как MIG, TimeSlicing и MPS, что позволяет эффективно использовать имеющиеся мощности.
В-третьих, для создания сложных цепочек моделей платформа предлагает использование инференс-графов на основе Ray Serve. Этот подход позволяет объединять различные модели, запущенные на разных нодах, для решения комплексных задач, например, транскрибации аудио и генерации изображений. Несмотря на существующие сложности с распределением деплоев на worker-нодах, платформа обеспечивает гибкость в создании сложных ML-пайплайнов.
В-четвертых, платформа оптимизирует работу Triton Inference Server, применяя батчинг запросов для увеличения пропускной способности и использует инструменты Model Analyzer и Model Navigator для подбора оптимальных конфигураций и форматов моделей. Такой подход позволяет значительно ускорить инференс и снизить затраты. Наконец, пользовательский интерфейс платформы реализован на базе Grafana, Kiali и Jaeger, что обеспечивает удобное мониторинга и визуализацию метрик, трафика и логов без необходимости привлекать фронтенд-разработчиков.
