AI Securityガードレールは、お客様のパフォーマンス要件に基づいて、2つの構成で導入できます。
- CPUベース（標準）： AI Gatewayと共にローカルにインストールされます。 これはデフォルト設定です。
- GPUベース（高性能）：スループットの最適化とレイテンシの低減のため、外部グラフィックス処理ユニット（GPU）にLLMをインストールしました。
GPUベースのガードレールの設定が正常に完了すると、システムは自動的にCPUベースのガードレールからGPUベースのガードレールに移行します。手動スイッチは不要です。