以下の表は、AI Gateway構成に必要な推奨インスタンスタイプを示しています。
| AWS AMI | GCP | ESXi VM | 同時リクエスト | 最小ディスクサイズ | |
|---|---|---|---|---|---|
| small | c6a.4xlarge1 (16コア/32GB) | c2d-highcpu-16 | 16 cores/32GB | CPU ML: 8 RPS GPU LLM: 20 RPS DLPaaS: 80 RPS | 300GB |
| medium | c6a.8xlarge1 (32コア/64GB) | c2d-highcpu-32 | 32 cores/64GB | CPU ML: 15 RPS GPU LLM: 20 RPS DLPaaS: 80 RPS | 300GB |
新しい世代のインスタンスは、通常、より優れたパフォーマンスを提供する。顧客は、スループットを向上させるために、c6i、c7i、c7a、c8i、c8aなどの新しいシリーズを選択できます。
Requirement: AI Gateway VMはAVX2対応ホストに展開する必要があります。
Warning: ホストが上記の最低仕様を満たさない場合、 AI Gateway 展開は失敗します。
Warning: ホストが上記の最低仕様を満たさない場合、 AI Gateway 展開は失敗します。
DLP Appliance Sizing
次の表は、クラウド展開に推奨されるインスタンスタイプと、オンプレミス環境における DLP On Demand の対応するサイズ構成を示しています。 詳細については、 /en/dlpondemandconfigを参照してください。
| AWS | GCP | Azure | VM | 同時リクエスト | 最小ディスクサイズ | |
|---|---|---|---|---|---|---|
| small | c5ad.4xlarge | n2-standard-16 | Standard-F16s_v2 | 16 cores/32GB | 平均ファイルサイズ250KBの場合、最大7リクエスト/秒 | 351GB |
| medium | c5ad.8xlarge | n2-standard-32 | Standard-F32s_v2 | 32 cores/64GB | 平均ファイルサイズ250KBの場合、最大30リクエスト/秒 | 351GB |
| 大きい | c5ad.16xlarge | n2-standard-64 | Standard-F64fs_v2 | 64 cores/128GB | 平均ファイルサイズ250KBの場合、最大50リクエスト/秒 | 351GB |
Azure sizing guidelines
使う Azure上で AI Gateway を展開する際の以下のインスタンスタイプ:
| サイズ | Azureインスタンスタイプ |
|---|---|
| small | D16ls_v7 (16 cores/32GB) |
| medium | D32ls_v7 (32 cores/64GB) |