Amazon SageMaker kini dapat membagi satu GPU menjadi partisi terisolasi

7
Partisi terbanyak dalam satu GPU: 24
Partisi pada satu endpoint p4d: 17 dtk
Waktu tambahan provisioning saat uji coba

Untuk siapa: Tim yang menjalankan model
Di mana berfungsi: Endpoint SageMaker AI
Kapan: Tersedia sekarang

Poin penting

Kesalahan tetap dalam partisinya sendiri
Bandwidth memori khusus per partisi
Irisan, bukan seluruh GPU
Terapkan lebih banyak model daripada GPU

Di mana menggunakannya

Menjalankan beberapa modelTiap model di partisi GPU sendiri
Model kecil, lalu lintas tinggiJalankan lebih banyak salinan model kecil
Pelacakan biayaPetakan biaya GPU ke tiap model atau tim

Apa fungsinya

Amazon SageMaker AI kini dapat membagi satu GPU menjadi partisi terpisah, masing-masing dengan porsi komputasi dan memorinya sendiri, sehingga beberapa model dapat berjalan pada satu akselerator.

Untuk siapa

Tim yang menjalankan model AI di endpoint AWS dan ingin memanfaatkan GPU mereka secara lebih penuh.

Harga dan cara mencoba

Postingan tidak menyebutkan biayanya. Fitur ini bekerja pada endpoint SageMaker AI yang menggunakan inference components, bukan endpoint model tunggal atau serverless.

Sumber

AWS: SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints

Ditulis dengan AI dari sumber di atas. Jika ada yang terasa janggal, yang berlaku adalah sumbernya.