AI Security Guardrails peut être déployé dans deux configurations en fonction de vos exigences en matière de performances :
- Basé sur l'unité centrale (standard) : Installé localement avec le site AI Gateway. Il s'agit de la configuration par défaut.
- Basé sur le GPU (haute performance) : Installation du LLM sur des unités de traitement graphique (GPU) externes pour un débit optimisé et une latence réduite.
Lorsque la configuration des garde-fous basés sur le GPU est réussie, le système passe automatiquement des garde-fous basés sur le CPU aux garde-fous basés sur le GPU. Aucun interrupteur manuel n'est nécessaire.