Amazon SageMaker тепер може поділити один GPU на ізольовані розділи

7
Більшість розділів на одному GPU: 24
Розділи на одній кінцевій точці p4d: 17 с
Додано до підготовки під час тестування

Для кого це: Команди, що розміщують моделі
Де це працює: Кінцеві точки SageMaker AI
Коли: Доступно зараз

Головне

Збої лишаються у своєму розділі
Виділена пропускна здатність пам'яті на кожен розділ
Частка замість цілого GPU
Розгортайте більше моделей, ніж GPU

Де використовувати

Розміщення кількох моделейКожна модель у своєму розділі GPU
Малі моделі, великий трафікБільше копій малої моделі
Облік витратПрив'язка вартості GPU до моделі чи команди

Що це робить

Amazon SageMaker AI тепер може поділити один GPU на окремі розділи, кожен зі своєю часткою обчислювальної потужності та пам'яті, тож кілька моделей можуть працювати на одному прискорювачі.

Для кого це

Команди, які розміщують AI-моделі на кінцевих точках AWS і хочуть повніше використовувати свої GPU.

Ціна і де спробувати

У публікації не сказано, скільки це коштує. Це працює на кінцевих точках SageMaker AI, які використовують компоненти inference, а не на кінцевих точках для однієї моделі чи serverless.

Джерело

AWS: SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints

Написано за допомогою AI на основі джерела вище. Якщо щось виглядає неточно, вірте джерелу.