- 7
- Maximum de partitions par GPU
- 24
- Partitions sur un point de terminaison p4d
- 17 s
- Ajout au provisionnement en test
- Pour qui
- Équipes hébergeant des modèles
- Où ça fonctionne
- Points de terminaison SageMaker AI
- Quand
- Disponible dès maintenant
L'essentiel
- Les pannes restent dans leur partition
- Bande passante mémoire dédiée par partition
- Tranche au lieu d'un GPU entier
- Déployer plus de modèles que de GPU
Où l'utiliser
- Hébergement de plusieurs modèlesChaque modèle dans sa propre partition
- Petits modèles, trafic élevéPlus de copies d'un petit modèle
- Suivi des coûtsRépartir le coût GPU par modèle ou équipe
Ce que ça fait
Amazon SageMaker AI peut désormais diviser un GPU en partitions distinctes, chacune disposant de sa propre part de calcul et de mémoire, afin que plusieurs modèles puissent fonctionner sur un même accélérateur.
À qui cela s'adresse
Aux équipes qui hébergent des modèles d'IA sur des points de terminaison AWS et souhaitent exploiter leurs GPU plus pleinement.
Prix et où l'essayer
L'article ne précise pas le coût. Cela fonctionne sur les points de terminaison SageMaker AI qui utilisent des composants d'inférence, et non sur les points de terminaison à modèle unique ou sans serveur.
Rédigé avec l'IA à partir de la source ci-dessus. En cas de doute, c'est la source qui fait foi.
