Pour configurer des limites de débit pour toutes les passerelles ou pour des passerelles spécifiques, procédez comme suit.
-
Connectez-vous à l'interface utilisateur du locataire Netskope et accédez à Settings > Security Cloud Platform > AI Gateway > Rate Limit.
-
Cliquez sur New Override.
-
Dans la page New Rate Limit Override, entrez les valeurs des paramètres suivants.
- Name: Saisissez un nom pour le dépassement de la limite de débit. Ce champ est obligatoire.
- Gateway: Select une AI Gateway à laquelle vous voulez appliquer la limite de taux.
- Subset of Gateways/All Gateways: Indiquez si vous souhaitez appliquer les limites de débit à un sous-ensemble de passerelles ou à toutes les passerelles.
- Match Criteria: Spécifiez les critères de correspondance pour la limite de débit à appliquer. Comme critères de correspondance, vous pouvez sélectionner un fournisseur d'IA, un nom de modèle d'IA et des groupes de jetons. Vous pouvez sélectionner plusieurs groupes de jetons. Si la valeur est laissée vide, elle sera appliquée à tous.
-
Sous Rate Limit, spécifiez une limite de débit sous la forme number/per requests/day ou Hour/gateway.
-
Ajoutez un message de réponse personnalisé dans la zone de texte Response Message. Lorsque la limite de débit définie atteint la limite maximale, AI Gateway envoie ce message personnalisé avec le code de réponse 429.
