Amazon SageMaker artık bir GPU'yu yalıtılmış bölümlere ayırabiliyor

7
Bir GPU'da en çok bölüm: 24
Bir p4d uç noktasındaki bölümler: 17 sn
Testte hazırlık süresine eklenen

Kimler için: Modelleri barındıran ekipler
Nerede çalışır: SageMaker AI uç noktaları
Ne zaman: Şimdi kullanılabilir

Öne çıkanlar

Hatalar kendi bölümünde kalır
Bölüm başına ayrılmış bellek bant genişliği
Tüm GPU yerine dilim
GPU sayısından fazla model dağıtın

Nerede kullanılır

Birden fazla model barındırmaHer modeli kendi GPU bölümüne koyun
Küçük modeller, yüksek trafikKüçük bir modelin daha fazla kopyasını çalıştırın
Maliyet takibiGPU maliyetini her model veya ekibe eşleyin

Ne yapıyor

Amazon SageMaker AI artık bir GPU'yu her biri kendi işlem gücü ve bellek payına sahip ayrı bölümlere ayırabiliyor; böylece birden fazla model tek bir hızlandırıcı üzerinde çalışabiliyor.

Kimler için

AWS uç noktalarında yapay zeka modelleri barındıran ve GPU'larını daha verimli kullanmak isteyen ekipler.

Fiyat ve deneme yeri

Yazıda ücretin ne olduğu belirtilmiyor. Satır içi çıkarım bileşenleri kullanan SageMaker AI uç noktalarında çalışıyor; tek model veya sunucusuz uç noktalarda değil.

Kaynak

AWS: SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints

Yukarıdaki kaynaktan yapay zekâ ile yazıldı. Bir tutarsızlık görürseniz geçerli olan kaynaktır.