- 7
- Máximo de particiones en una GPU
- 24
- Particiones en un endpoint p4d
- 17 s
- Añadido al aprovisionamiento en pruebas
- Para quién es
- Equipos que alojan modelos
- Dónde funciona
- Endpoints de SageMaker AI
- Cuándo
- Disponible ahora
Puntos clave
- Los fallos quedan en su partición
- Ancho de banda de memoria dedicado por partición
- Porción en lugar de una GPU entera
- Despliega más modelos que GPUs
Dónde usarlo
- Alojar varios modelosCada modelo en su propia partición
- Modelos pequeños, mucho tráficoMás copias de un modelo pequeño
- Seguimiento de costesAsigna el coste de GPU a cada modelo o equipo
Qué hace
Amazon SageMaker AI ya puede dividir una GPU en particiones separadas, cada una con su propia parte de cómputo y memoria, para que varios modelos se ejecuten en un mismo acelerador.
Para quién es
Equipos que alojan modelos de IA en endpoints de AWS y quieren aprovechar más a fondo sus GPUs.
Precio y dónde probarlo
El anuncio no indica el coste. Funciona en endpoints de SageMaker AI que usan componentes de inferencia, no en endpoints de un solo modelo ni sin servidor.
Escrito con IA a partir de la fuente de arriba. Si algo no cuadra, lo que vale es la fuente.
