Amazon SageMaker może teraz podzielić jeden GPU na izolowane partycje

7
Najwięcej partycji na jednym GPU: 24
Partycje na jednym punkcie p4d: 17 s
Dodane do przydzielania w testach

Dla kogo: Zespoły hostujące modele
Gdzie działa: Punkty końcowe SageMaker AI
Kiedy: Dostępne od razu

Najważniejsze

Awarie zostają w swojej partycji
Dedykowana przepustowość pamięci na partycję
Wycinek zamiast całego GPU
Więcej modeli niż GPU

Gdzie z tego korzystać

Hostowanie kilku modeliKażdy model we własnej partycji GPU
Małe modele, duży ruchWięcej kopii małego modelu
Śledzenie kosztówPrzypisz koszt GPU do modelu lub zespołu

Co to robi

Amazon SageMaker AI potrafi teraz podzielić jeden GPU na osobne partycje, każda z własnym udziałem mocy obliczeniowej i pamięci, dzięki czemu kilka modeli może działać na jednym akceleratorze.

Dla kogo

Zespoły hostujące modele AI na punktach końcowych AWS, które chcą pełniej wykorzystywać swoje GPU.

Cena i miejsce wypróbowania

Wpis nie podaje, ile to kosztuje. Działa na punktach końcowych SageMaker AI korzystających z komponentów wnioskowania, a nie z punktów dla pojedynczych modeli ani bezserwerowych.

Źródło

AWS: SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints

Napisane z pomocą AI na podstawie źródła powyżej. Jeśli coś wygląda nie tak, liczy się źródło.