Amazon SageMaker kann jetzt eine GPU in isolierte Partitionen aufteilen

7
Die meisten Partitionen auf einer GPU: 24
Partitionen auf einem p4d-Endpunkt: 17 Sek.
Beim Provisioning in Tests hinzugefügt

Für wen es ist: Teams, die Modelle hosten
Wo es funktioniert: SageMaker-AI-Endpunkte
Wann: Jetzt verfügbar

Das Wichtigste

Fehler bleiben in ihrer Partition
Eigene Speicherbandbreite pro Partition
Scheibe statt ganzer GPU
Mehr Modelle als GPUs bereitstellen

Wo Sie es nutzen können

Mehrere Modelle hostenJedes Modell in eigene GPU-Partition
Kleine Modelle, hoher TrafficMehr Kopien eines kleinen Modells ausführen
KostenverfolgungGPU-Kosten je Modell oder Team zuordnen

Was es macht

Amazon SageMaker AI kann jetzt eine GPU in separate Partitionen aufteilen, jede mit eigenem Anteil an Rechenleistung und Speicher, sodass mehrere Modelle auf einem Beschleuniger laufen können.

Für wen es gedacht ist

Teams, die KI-Modelle auf AWS-Endpunkten hosten und ihre GPUs besser auslasten wollen.

Preis und Testmöglichkeit

Der Beitrag nennt keinen Preis. Es funktioniert mit SageMaker-AI-Endpunkten, die Inference Components verwenden, nicht mit Einzelmodell- oder serverlosen Endpunkten.

Quelle

AWS: SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints

Mit KI auf Basis der Quelle oben geschrieben. Wenn etwas nicht stimmt, zählt die Quelle.