Amazon SageMaker agora pode dividir uma GPU em partições isoladas

7
Máximo de partições por GPU: 24
Partições em um endpoint p4d: 17 s
Acrescentado ao provisionamento em testes

Para quem é: Equipes que hospedam modelos
Onde funciona: Endpoints do SageMaker AI
Quando: Disponível agora

Pontos principais

Falhas ficam na própria partição
Largura de banda de memória dedicada por partição
Fatia em vez de GPU inteira
Implante mais modelos que GPUs

Onde usar

Hospedagem de vários modelosCada modelo em sua partição de GPU
Modelos pequenos, tráfego altoMais cópias de um modelo pequeno
Controle de custosCusto da GPU por modelo ou equipe

O que faz

O SageMaker AI da Amazon agora pode dividir uma GPU em partições separadas, cada uma com sua própria parcela de computação e memória, para que vários modelos rodem em um único acelerador.

Para quem é

Equipes que hospedam modelos de IA em endpoints da AWS e querem usar suas GPUs de forma mais completa.

Preço e onde testar

A publicação não informa o custo. Funciona em endpoints do SageMaker AI que usam componentes de inferência, não em endpoints de modelo único nem sem servidor.

Fonte

AWS: SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints

Escrito com IA a partir da fonte acima. Se algo parecer errado, vale o que diz a fonte.