Amazon SageMaker теперь может разделить один GPU на изолированные разделы

7
Макс. разделов на один GPU: 24
Разделов на одной конечной точке p4d: 17 сек
Добавлено к развёртыванию в тестах

Для кого: Команды, размещающие модели
Где работает: Конечные точки SageMaker AI
Когда: Доступно сейчас

Главное

Сбои остаются в своём разделе
Выделенная пропускная способность памяти на раздел
Доля вместо целого GPU
Больше моделей, чем GPU

Где применять

Размещение нескольких моделейКаждая модель в своём разделе GPU
Небольшие модели, большой трафикБольше копий малой модели
Учёт затратСтоимость GPU по моделям или командам

Что это даёт

Amazon SageMaker AI теперь может разделить один GPU на отдельные разделы, каждый со своей долей вычислительной мощности и памяти, поэтому несколько моделей могут работать на одном ускорителе.

Для кого

Команды, которые размещают ИИ-модели на конечных точках AWS и хотят полнее использовать свои GPU.

Цена и где попробовать

В публикации не указано, сколько это стоит. Работает на конечных точках SageMaker AI, которые используют компоненты инференса, а не на конечных точках с одной моделью или бессерверных.

Источник

AWS: SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints

Написано с помощью AI по источнику выше. Если что-то выглядит неточно, верьте источнику.