以下の表は、AI Gateway構成に必要な推奨インスタンスタイプを示しています。
| AWSインスタンスタイプ | GCP | Azure | ESXi VM | 同時リクエスト | 最小ディスクサイズ | |
|---|---|---|---|---|---|---|
| small | c6a.4xlarge(16コア/32GB) | c2d-highcpu-16 | D16ls_v7 (16 cores/32GB) | 16 cores/32GB | CPU ML: 8 RPS GPU LLM: 20 RPS DLPaaS: 80 RPS | 300GB |
| medium | c6a.8xlarge(32コア/64GB) | c2d-highcpu-32 | D32ls_v7 (32 cores/64GB) | 32 cores/64GB | CPU ML: 15 RPS GPU LLM: 20 RPS DLPaaS: 80 RPS | 300GB |
新しい世代のインスタンスは、通常、より優れたパフォーマンスを提供する。顧客は、スループットを向上させるために、c6i、c7i、c7a、c8i、c8aなどの新しいシリーズを選択できます。
Requirement: AI Gateway VMはAVX2対応ホストに展開する必要があります。
Warning: ホストが上記の最低仕様を満たさない場合、 AI Gateway 展開は失敗します。
Warning: ホストが上記の最低仕様を満たさない場合、 AI Gateway 展開は失敗します。
DLP Appliance Sizing
次の表は、クラウド展開に推奨されるインスタンスタイプと、オンプレミス環境における DLP On Demand の対応するサイズ構成を示しています。 詳細については、 /en/dlpondemandconfigを参照してください。
| AWS | GCP | Azure | VM | 同時リクエスト | 最小ディスクサイズ | |
|---|---|---|---|---|---|---|
| Small | c5ad.4xlarge | n2-standard-16 | Standard-F16s_v2 | 16 cores/32GB | 毎秒480発、最大瞬間発射速度は毎秒576発。最大スループット制限: 786 MB/分 | 351GB |
| Medium | c5ad.8xlarge | n2-standard-32 | Standard-F32s_v2 | 32 cores/64GB | 連射速度1280発/秒、バースト時最大連射速度1536発/秒。最大スループット制限: 2048 MB/分 | 351GB |
| Large | c5ad.16xlarge | n2-standard-64 | Standard-F64fs_v2 | 64 cores/128GB | 毎秒2880発、最大瞬間発射速度は毎秒3456発。最大スループット制限: 4608 MB/分 | 351GB |

