レート制限

API呼び出し回数または消費トークン数によってトラフィックを制限できます。すべてのゲートウェイ、または特定のゲートウェイに対してレート制限を設定するには、以下の手順に従ってください。

1.  NetskopeテナントUIにログインしてSettings > Security Cloud Platform > AI Gateway > Rate Limitに移動します。

2. New Overrideをクリックしてください。

3. New Rate Limit Overrideページで、以下のパラメータの値を入力してください。

   パラメータ	Details
   名前	レート制限の上書き設定に名前を付けてください。これは必須項目です。
   Gateway	料金制限のオーバーライドを適用したいAI GatewaySelect。
   ゲートウェイのサブセット／すべてのゲートウェイ	レート制限を一部のゲートウェイに適用するか、すべてのゲートウェイに適用するかを指定してください。
   マッチング基準	適用するレート制限のマッチング基準を指定してください。マッチング条件として、AIプロバイダー、AIモデル名、トークングループを選択できます。複数のトークングループを選択できます。値が空欄の場合、レート制限はすべてのトラフィック（テナントレベル）に適用されます。

4. 制限値の測定方法を選択してください。

   タイプ	デスクリプション
   API呼び出し	リクエスト数によってトラフィックを制限する。
   Tokens	消費されたトークンの数に応じてトラフィックを制限する。トークンの消費には、プロンプト（入力）トークンとレスポンス（出力）トークンの両方が含まれます。

   Noteレート制限の上書き設定を作成した後は、タイプを変更することはできません。APIコールとトークンを切り替えるには、新しいオーバーライドを作成します。
   マッチング条件でスキーマが「その他」である単一のAIプロバイダーが指定されている場合、トークンオプションは利用できません。AI Gateway 使う他のスキーマからトークン数を確実に抽出できないため、トークンベースの制限は正しく強制されません。 マッチング基準がすべてのプロバイダーに対して開放されている場合（特定のAIプロバイダーが選択されていない場合）、この制限は設定時に自動的に適用されません。そのケースでは、AIを見直してください
   トークンベースの制限に依存する前にプロバイダーリストを選びます。なぜなら、そのスコープに含まれる「その他」スキーマプロバイダーはトークン数によってレート制限を受けません。

5. Specify the limit value.

   タイプがAPI呼び出しの場合	If Type = Tokens
   API呼び出しを選択した場合は、制限を「リクエスト数/日」または「時間/ゲートウェイ」として指定してください。	トークンを選択した場合は、制限を「1日あたりのトークン数」または「ゲートウェイあたりの時間数」として指定してください。

   

6. 「応答メッセージ」テキストボックスに、カスタム応答メッセージを追加してください。定義されたレート制限が最大上限に達すると、AI Gatewayは応答コード429のカスタムメッセージを送信します。

   

7. レート制限の上書きに関するトークンの消費状況は、レート制限ページで確認できます。利用はテナント、AIプロバイダー、モデル、 AI Gateway トークングループレベルで利用可能です。