- 7
- Partizioni massime su una GPU
- 24
- Partizioni su un endpoint p4d
- 17 sec
- Aggiunti al provisioning nei test
- Per chi è
- Team che ospitano modelli
- Dove funziona
- Endpoint SageMaker AI
- Quando
- Disponibile ora
In breve
- I guasti restano nella propria partizione
- Banda di memoria dedicata per partizione
- Porzione invece di una GPU intera
- Più modelli che GPU da distribuire
Dove usarlo
- Hosting di più modelliOgni modello nella propria partizione
- Modelli piccoli, traffico elevatoPiù copie di un modello piccolo
- Monitoraggio dei costiCosto GPU per modello o team
Cosa fa
Amazon SageMaker AI ora può dividere una GPU in partizioni separate, ognuna con la propria quota di calcolo e memoria, così più modelli possono girare su un solo acceleratore.
Per chi è
Team che ospitano modelli di AI su endpoint AWS e vogliono sfruttare più a fondo le proprie GPU.
Prezzo e dove provarlo
Il post non dice quanto costa. Funziona sugli endpoint di SageMaker AI che usano inference components, non sugli endpoint a singolo modello o serverless.
Scritto con l'AI a partire dalla fonte qui sopra. Se qualcosa non torna, fa fede la fonte.
