- 7
- Meeste partities op één GPU
- 24
- Partities op één p4d-endpoint
- 17 sec
- Toegevoegd aan provisioning in tests
- Voor wie
- Teams die modellen hosten
- Waar het werkt
- SageMaker AI-endpoints
- Wanneer
- Nu beschikbaar
Belangrijkste punten
- Fouten blijven in hun eigen partitie
- Eigen geheugenbandbreedte per partitie
- Segment in plaats van hele GPU
- Meer modellen dan GPU's inzetten
Waar je het gebruikt
Wat het doet
Amazon SageMaker AI kan nu een GPU opdelen in afzonderlijke partities, elk met een eigen deel van de rekenkracht en het geheugen, zodat meerdere modellen op één accelerator kunnen draaien.
Voor wie
Teams die AI-modellen hosten op AWS-endpoints en hun GPU's beter willen benutten.
Prijs en waar je het kunt proberen
De aankondiging zegt niet wat het kost. Het werkt op SageMaker AI-endpoints die inference components gebruiken, niet op endpoints voor één model of serverless endpoints.
Geschreven met AI op basis van de bron hierboven. Lijkt er iets niet te kloppen, dan geldt de bron.
