- 7
- एक GPU पर अधिकतम प ार्टिशन
- 24
- एक p4d एंडपॉइंट पर पार्टिशन
- 17 सेकंड
- परीक्षण में प्रोविजनिंग में जुड़ा समय
- किनके लिए है
- AI मॉडल होस्ट करने वाली टीमें
- कहाँ काम करता है
- SageMaker AI एंडपॉइंट
- कब
- अभी उपलब्ध
मुख्य बातें
- खराबी उसी पार्टिशन तक सीम ित
- हर पार्टिशन की अलग मेमोरी बैंडविड्थ
- पूरे GPU की जगह एक हिस्सा
- GPU से ज़्यादा मॉडल तैनात करें
इसे कहाँ इस्तेमाल करें
यह क्या करता है
Amazon SageMaker AI अब एक GPU को अलग-अलग पार्टिशन में बांट सकता है, जिनमें से हर एक का अपना कंप्यूट और मेमोरी हिस्सा होता है, ताकि एक एक्सेलेरेटर पर कई मॉडल एक साथ चल सकें।
किसके लिए
ऐसी टीमें जो AWS एंडपॉइंट पर AI मॉडल होस्ट करती हैं और अपने GPU का अधिक पूरा उपयोग करना चाहती हैं।
कीमत और आज़माने की जगह
पोस्ट में यह नहीं बताया गया कि इसकी लागत कितनी है। यह उन SageMaker AI एंडपॉइंट पर काम करता है जो inference components का उपयोग करते हैं, सिंगल-मॉडल या serverless एंडपॉइंट पर नहीं।
ऊपर दिए स्रोत से AI की मदद से लिखा गया। कुछ गलत लगे, तो स्रोत ही मान्य है।
