- 7
- 1つのGPUのパーティション数の大半
- 24
- p4dエンドポイント上のパーティション数
- 17秒
- テストでのプロビジョニング追加時間
- こんな方に
- モデルをホストするチーム
- 対応する場所
- SageMaker AIエンドポイント
- 使うタイミング
- 今すぐ利用可能
要点
- 障害はそれぞれのパーティション内に留まる
- パーティションごとの専用メモリ帯域幅
- GPU全体ではなく一部を割り当て
- GPU数より多くのモデルをデプロイ
使える場面
- 複数のモデルをホスト各モデルを専用のGPUパーティションに配置
- 小型モデル、高トラフィック小型モデルのコピーを増やして実行
- コスト追跡GPUコストを各モデルやチームに対応付け
機能概要
Amazon SageMaker AIで、1つのGPUを独立したパーティションに分割できるようになりました。各パーティションは計算資源とメモリの割り当てを個別に持ち、1つのアクセラレーターで複数のモデルを同時に実行できます。
対象者
AWSのエンドポイントでAIモデルをホストし、GPUをより有効に活用したいチーム。
価格と試用方法
記事では料金は示されていません。推論コンポーネントを使うSageMaker AIエンドポイントで動作し、単一モデルのエンドポイントやサーバーレスエンドポイントには対応していません。
上記の情報源をもとにAIで作成しています。内容に違和感がある場合は、情報源が正となります。
