Dockerデプロイメント

GPUベースのAI Guardrails使用している場合は、 Netskope LLM Dockerイメージを直接ダウンロードしてデプロイしてください。
標準イメージとして、コンテナをサポートするあらゆる環境で以下のように実行できます。

• SageMaker
• ベアメタルまたはGPU搭載VM
• Kubernetes
• カスタムインフラストラクチャ

Authentication Options:

• JWT認証はデプロイメントにおいてオプションです。
• デプロイ時に認証を選択しない場合、 AISecurityServiceトークン生成をスキップし、LLM エンドポイントと直接通信します。

AISecurityService 以下の設定が必要です。

• (Required) Host URL – the LLM’s base HTTP endpoint.
• Optional （顧客がJWTを有効にしている場合）
  • JWT Token URL
  • クライアントID
  • クライアントシークレット
  • 範囲

上記の値は、AI Gateway CLIで設定できます。

Hardware Requirement

Hardware	要件
GPU	1
GPUアーキテクチャ	NVDA（CUDA）
GPUメモリ	16 GB
CUDAサポート	はい
vCPU	2
RAM	16 GB
ストレージ	100 GB

Example Docker Run Command

docker run -d -p 8080:8080 <netskope-llm-docker-image>

Example for customer deployment (Sagemaker endpoint):

Dockerイメージを別の環境にデプロイすることも可能です。

Sagemaker エンドポイントをデプロイするには、以下の手順に従います (JWT はオプションです)。

1. ECRリポジトリを作成し、LLM Dockerイメージをプッシュします。

   ECRプッシュコマンドはECRページで利用できます。この画像は、SageMakerがモデルを作成する際に参照されます。

2. SageMaker エンドポイントをデプロイします。

   1. 次のコマンドを使用してモデルを作成します。

      aws sagemaker create-model \
        --model-name <model-name> \
        --primary-container Image=<ECR-image-URI> \
        --execution-role-arn <sagemaker-execution-role>

   2. 次のコマンドを使用してエンドポイント構成を作成します。

      aws sagemaker create-endpoint-config \
        --endpoint-config-name <endpoint-config-name> \
        --production-variants VariantName=AllTraffic,ModelName=<model-name>,InitialInstanceCount=1,InstanceType=ml.g5.xlarge
      

      ml.g5.xlargeは現在のGPUインスタンスタイプですが、他のGPUファミリーに置き換えることも可能です。

   3. エンドポイントを作成します。 t 次のコマンドを使用します。

      aws sagemaker create-endpoint \
        --endpoint-name <endpoint-name> \
        --endpoint-config-name <endpoint-config-name>
      

ガードレールサービス用のGPUベースのLLMが準備できたら、以下の手順に従ってください。

LLMガードレールサービスの選択<link>

LLMサービス証明書の設定<link>

LLMサービスホストの設定 <link>

LLMサービスホスト構成を削除します<link>