API呼び出し回数または消費トークン数によってトラフィックを制限できます。すべてのゲートウェイ、または特定のゲートウェイに対してレート制限を設定するには、以下の手順に従ってください。
-
NetskopeテナントUIにログインしてSettings > Security Cloud Platform > AI Gateway > Rate Limitに移動します。
-
New Overrideをクリックしてください。
-
New Rate Limit Overrideページで、以下のパラメータの値を入力してください。
パラメータ Details 名前 レート制限の上書き設定に名前を付けてください。これは必須項目です。 Gateway 料金制限のオーバーライドを適用したいAI GatewaySelect。 ゲートウェイのサブセット/すべてのゲートウェイ レート制限を一部のゲートウェイに適用するか、すべてのゲートウェイに適用するかを指定してください。 マッチング基準 適用するレート制限のマッチング基準を指定してください。マッチング条件として、AIプロバイダー、AIモデル名、トークングループを選択できます。複数のトークングループを選択できます。値が空欄の場合、レート制限はすべてのトラフィック(テナントレベル)に適用されます。 -
制限値の測定方法を選択してください。
タイプ デスクリプション API呼び出し リクエスト数によってトラフィックを制限する。 Tokens 消費されたトークンの数に応じてトラフィックを制限する。トークンの消費には、プロンプト(入力)トークンとレスポンス(出力)トークンの両方が含まれます。 Noteレート制限の上書き設定を作成した後は、タイプを変更することはできません。APIコールとトークンを切り替えるには、新しいオーバーライドを作成します。マッチ条件でスキーマが「その他」の単一のAIプロバイダーを指定した場合、トークンオプションは使用できません。AI Gatewayは、「その他」スキーマを使用してプロバイダーの応答からトークン数を確実に抽出することができないため、トークンベースの制限は正しく適用されません。マッチ条件ですべてのプロバイダーに対して開かれた状態(特定のAIプロバイダーが選択されていない)が維持されている場合、この制限は構成時に自動的に適用することはできません。
そのケースでは、トークンベースの制限に依存する前にAIプロバイダーのリストを確認してください。その範囲に含まれる「その他」スキーマプロバイダーは、トークン数によってレート制限されないためです。
Anthropic Claudeのトラフィックの場合、トークンベースのレート制限が使う入力トークン数には、基本入力トークンに加えて、キャッシュ読み取りトークンおよびキャッシュ書き込みトークン(5分および1時間)が含まれます。この集計値は、キャッシュトークンを除く、Claude独自の入力トークンの定義とは異なります。 -
Specify the limit value.
タイプがAPI呼び出しの場合 If Type = Tokens API呼び出しを選択した場合は、制限を「リクエスト数/日」または「時間/ゲートウェイ」として指定してください。 トークンを選択した場合は、制限を「1日あたりのトークン数」または「ゲートウェイあたりの時間数」として指定してください。 
-
「応答メッセージ」テキストボックスに、カスタム応答メッセージを追加してください。定義されたレート制限が最大上限に達すると、AI Gatewayは応答コード429のカスタムメッセージを送信します。

-
レート制限の上書きに関するトークンの消費状況は、レート制限ページで確認できます。利用はテナント、AIプロバイダー、モデル、 AI Gateway トークングループレベルで利用可能です。

