Azure Netskope Log Streaming Plugin for Log Shipper

このドキュメントでは、Azure Netskope LogStreaming v1.0.1プラグインを Netskope Cloud Exchange プラットフォームのLog Shipperモジュールで設定する方法を説明しています。 このプラグインは使う Azure Containers 使う Storage Queue of Microsoft Azure Storage Accountから Netskope アラート(DLP、マルウェア、ポリシー、Compromised クレデンシャル、Malsite、Quarantine、修復、Security Assessment、Watchlist、UBA、CTEP、デバイス、コンテンツ)、イベント(Page、Application、Audit、Infrastructure、Network、Incident、エンドポイント、Client Status)、WebTx データを引き出すために使います。

前提条件

この設定を完了するには、以下が必要です。

• Netskopeテナント（または、例えば本番環境と開発／テスト環境など、複数のテナント）。
• TenantプラグインとLog Shipperプラグインが既に設定されているNetskope Cloud Exchangeインスタンスです。
• Azure Netskope LogStreaming service enabled in Netskope Tenant.
• サードパーティ製プラグイン（ Syslogなど）が既に設定済みです。
• ストレージアカウントサービスを含む標準プランのサブスクリプションです。
• 以下のホストへの接続: https://portal.azure.com/
• ストレージアカウントの詳細については、こちらのドキュメントを参照してください。

Azure LogStreaming プラグインのサポート

このプラグインは使う Azure Containers 使う Storage Queue of Microsoft Azure Storage Accountから Netskope アラート(DLP、マルウェア、ポリシー、Compromised クレデンシャル、Malsite、Quarantine、修復、Security Assessment、Watchlist、UBA、CTEP、デバイス、コンテンツ)、イベント(Page、Application、Audit、Infrastructure、Network、Incident、エンドポイント、Client Status)、WebTx データを引き出すために使います。

データ型	サポート
イベント	はい（ページ、アプリケーション、監査、インフラストラクチャ、ネットワーク、インシデント、クライアントステータス）
アラート	はい (DLP、マルウェア、ポリシー、侵害されたクレデンシャル、マルサイト、検疫、修復、セキュリティ評価、ウォッチリスト、UBA、CTEP、デバイス、およびコンテンツ)
ウェブテキサス	はい
CEログ	いいえ

マッピング

現在のSyslogプラグインにはAzure Netskope LogStreamingアラート、イベント、WebTxのマッピングファイルがなく、ユーザーはこれらのアラート、イベント、WebTx データを変換するためにカスタムマッピングファイルを追加する必要があります。 このマッピングファイルを使うことで、JSON形式でデータを取り込むことができます。

サンプルマッピングファイル：

{
  "delimiter": "|",
  "syslog_map_version": "3.2.0",
  "cef_version": "0",
  "validator": "valid_extensions.csv",
  "taxonomy": {
    "json": {
      "alerts": {
        "dlp": [],
        "malware": [],
        "policy": [],
        "Compromised Credential": [],
        "Malsite": [],
        "Quarantine": [],
        "Remediation": [],
        "Security Assessment": [],
        "Watchlist": [],
        "uba": [],
        "ctep": [],
        "content": [],
        "device": []
      },
      "events": {
        "application": [],
        "audit": [],
        "infrastructure": [],
        "page": [],
        "network": [],
        "incident": [],
        "clientstatus": []
      },
      "webtx": {
        "v2": []
      }
    }
  }
}

権限

Azureアカウントに必要な権限は以下のとおりです。独自のAzure Blobストレージを作成する場合は、ストレージアカウントとリソースグループを作成および管理する権限があることを確認してください。

• Storage Account Contributor: ストレージアカウント自体の作成、削除、管理（ネットワーク設定やアクセスキーを含む）。
• Storage Blob Data Contributor: Blob に対してデータ操作 (アップロード、ダウンロード、削除) を実行します。
• Storage Queue Data Contributor: キューメッセージを管理（追加、読む、削除）します。
• EventGrid Contributor: システムトピック（ストレージアカウント上）とイベントサブスクリプションを作成する必要があります。

APIの詳細

このプラグイン Microsoft Azureストレージアカウントに構成されたコンテナからNetskopeアラート、イベント、Webtxログを取得するためのPythonライブラリ。

使用方法：azure-storage-queue および azure-storage-blob ライブラリは、Azure SDK for Python の一部であり、Azure Storage サービスとの連携を可能にします。azure-storage-queue は キュー内でメッセージを送受信および管理し、疎結合アーキテクチャとイベント駆動型アーキテクチャをサポートします。 azure-storage-blob を使用すると、Azure Blob Storage 内のファイルのアップロード、ダウンロード、および管理を行うことができます。これらは一緒に、一般的にワークフローで使用され、BLOB のアップロードがキュー メッセージを介してイベントの処理をトリガーします。

Blobサービスクライアントを初期化します

Azure Blob Storage アカウントとやり取りするためのクライアントを作成します 接続文字列。

blob_service_client = BlobServiceClient.from_connection_string(
       conn_str=connection_string, user_agent=self._get_user_agent()
)

キュークライアントを初期化します

指定された Azure Storage Queue に接続するためのクライアントを作成します 指定された接続文字列を使用します。

queue_client = QueueClient.from_connection_string(
    conn_str=connection_string,
    queue_name=queue_name,
    user_agent=self._get_user_agent(),
)

キューサービスクライアントを初期化します

Azure Storage Queue サービスとやり取りするためのクライアントを作成し、ストレージ アカウント内のキューの一覧表示などの操作を可能にします。

queue_service = QueueServiceClient.from_connection_string(
    conn_str=connection_string, user_agent=self._get_user_agent()
)

キューからメッセージを受信する

Azure Storage Queue から、現在表示可能で処理可能なメッセージのバッチを取得します。

messages = queue_client.receive_messages(
    messages_per_page=20, visibility_timeout=3000
)

キューからメッセージを削除する

Azure Storage Queue から特定のメッセージを完全に削除します メッセージ ID と Pop 受信確認。

queue_client.delete_message(
    message=msg.id,
    pop_receipt=msg.pop_receipt,
)

パフォーマンスマトリックス

このパフォーマンス測定値は、これらのVM仕様でテストされたCloud Exchange Large Stackに関するものです。これらの測定値は、以下のデータに関する考慮事項に基づいて追加されています。

デスクリプション	仕様
スタックの詳細	サイズ：大 RAM：32 GB CPU：16コア
アラートイベントプル	~200 EPM
アラートイベントはログシッパーのサードパーティプラグインに取り込まれます。	~180K EPM
WebTx pull	約20万EPM
WebTxからデータを取得し、Log Shipperのサードパーティプラグインに取り込む。	~165K EPM

ユーザーエージェント

netskope-ce-6.1.0-cls-azure-netskope-logstreaming-v1.0.1

ワークフロー

1. Azure Netskope Log Streaming プラグイン用のクレデンシャルを生成します。
2. Azure Netskope Log Streamingプラグインを設定します。
3. ビジネスルールを設定します。
4. ログ配信を設定します。
5. プラグインを検証してください。

動画を見る

再生ボタンをクリックして動画をご覧ください。

Azure Netskopeログ ストリーミングを生成する

Azure Netskope LogStreaming プラグインを設定するには、ストレージアカウント内でキューを設定する必要があります。

ストレージアカウントを設定するには：

1. Microsoft Azureインスタンスにログインし、ストレージアカウントサービスを検索してください。

   

2. それをクリックすると、既にストレージアカウントを設定している場合は、そのページに一覧表示されます。

   

3. 新しいストレージアカウントを設定するには、 Createをクリックしてください。

   

4. 必要な情報をすべて入力し、 Review + createをクリックしてください。

5. ストレージアカウントを作成できたら、 {storage_account} > Security + networking > Access keysに移動して接続の文字列をコピーし、プラグインで使うしてください。

   

6. 今、コンテナとキューを作成します。 Data storage > Containers に移動してAdd container.をクリックしてください。

   

7. コンテナの名前を入力し、 Create. をクリックしてください。コンテナがそのページに表示されます。

8. キューを設定するには、 Data storage > Queuesに移動し、 +Queueをクリックして、キューの名前を入力し、 OK.をクリックします。

   

9. これらの設定が完了したら、キューのイベントサブスクリプションを作成する必要があります。{storage_account} > Eventsへ移動してください。

10. +Event subscriptionをクリックし、すべての詳細を入力して、 Createをクリックしてください。名前とシステムトピック名を指定し、イベントスキーマをEvent Grid Schemaに設定し、イベントタイプをBlob Createdにフィルタリングします。 

    

11. 先ほど作ったストレージアカウントとキューでエンドポイントを設定してください。

    

12. Createをクリックしてください。

    

設定が完了しました。コンテナ内に有効なファイルがある場合、プラグインはそのファイルからデータを取得し、Log Shipperのサードパーティプラグインプラットフォームに取り込みます。

Configure Log Streaming on Netskope Tenant

1. Netskope Tenantにログインし、 Settingsをクリックしてください。

2. 設定で、 Tools > Log Streamingに移動します。

   

3. Create Streamをクリックしてください。

4. 以下のパラメータを指定してください。

   • Name: ストリームの名前を入力してください。

   • Data Collections: トランザクションログをクラウドバケットにストリーミングする場合は、「トランザクションイベント」チェックボックスを選択してください。そうでない場合、アラートとイベントのみがクラウドバケットにストリーミングされます。

     注記

     • Syslog v4.1.2で使う場合は、パーサーオーダー2を選択することを忘れないでくださいプラグインを使用する理由は、Syslog v4.1.2 のデフォルトのマッピングがパーサーオーダー 2 と互換性があるためです。
     • 使う WebTx データを特定するために x-cs-timestamp フィールドが有効になっているか確認してくださいCloud Exchange

   • Destination: ストリーミングの宛先をSelectし、その宛先に関する情報を提供します。Azure コンテナーのストレージ アカウント名、コンテナー名、パス、およびアクセス キーを入力してください。

     

   • Compression: Select あなたが望む圧迫タイプを選びましょう。

     

5. Click Save.

Azure Netskope LogStreamingプラグインを構成する

1. Cloud Exchange で、 Settings > Plugin Storeに移動します。

2. Azure Netskope LogStreaming v1.0.1 (CLS)プラグインを検索して選択してください。

   

3. プラグインにはConfiguration NameとPull Intervalを入力してください。

   

4. Nextをクリックして、設定パラメータを入力してください。

   • Microsoft Azure Storage Account Connection String: 以前に作成した Microsoft Azure ストレージ アカウント アクセス キー接続文字列。
   • Microsoft Azure Data Storage Queue Name: 以前作成されたイベントサブスクリプションのMicrosoft Azure データストレージキュー名。 指定されたキューが、Microsoft Azureストレージアカウントに事前に構成されていることを確認してください。提供されたキューが存在しない場合は新しいキューは作成されません。

   

5. Click Save. Plugin configuration will be available on the Log Shipper > Plugins page.

   

   Syslog with Splunkプラグインのようなサードパーティ製のLog Shipperプラグインが、Azure Netskope LogStreamingプラグインから引き出されたデータを取り込むように既に設定されている必要があります。

Azure Log Streaming のログシッパービジネスルールを構成する

1. Log ShipperでBusiness Rulesに移動します。

2. デフォルトでは、すべてのアラートとイベントをフィルタリングするビジネスルールが設定されています。特定の種類のアラートやイベントを除外したい場合は、 Create New Ruleをクリックして、ルール名とフィルターを追加して新しいビジネスルールを設定します。 

   

3. Saveをクリックしてください。

   

Azure LogStreaming の Log Shipper ログ配信を構成する

1. Log ShipperでLog Delivery に移動し、 Add Log Delivery Configurationをクリックします。 

2. Sourceプラグイン(CLS AzureNetskopeLogStreaming)、Destinationプラグイン(Syslogなど)をSelectし、ビジネスルールを選択し、Saveをクリックします。

   

3. ログ配信の設定後、データがAzure Netskope LogStreamingテナントから取り出され、変換されてサードパーティプラグインプラットフォームに取り込みます。

   

Azure LogStreaming プラグインを検証する

プルを検証する

Netskopeテナントから指標を取得することを検証するには：

Cloud Exchangeで Logging にアクセスし、「 message contains pulled」というフィルターでプルされたログを検索してください。

プッシュ通知を検証する

Cloud Exchange でプッシュを検証するには：

1. Loggingに移動し、 「メッセージに ingested が含まれる」というフィルターを使用して、取り込まれたイベントを検索します。 

2. 取り込まれたログはフィルタリングされます。

   

   

   

   

   

   

3. 例えば、Splunkで取り込まれたデータを見るには、Log Shipper Syslogプラグインを設定しながら「取り込まれたデータ使う」とTCPポートとログソース識別子使うを検索してください。

   

   

   

Azure Netskope LogStreamingプラグインのトラブルシューティング

新しいプラグインの設定中に問題が発生しています

新しいプラグインを作成中にこのエラーが発生した場合、構成で指定されたキュー名が、指定された接続文字列に関連付けられている Microsoft Azure ストレージ アカウントに存在しないことを示している可能性があります。

What to do:

指定された接続文字列に関連付けられたストレージアカウントの有効なキュー名を指定してください。

設定済みのキューからアラート/イベントまたはWebTxデータを取得する際に問題が発生しています。

Azure Netskope LogStreamingプラグインとサードパーティプラグインプラットフォームをうまく設定しても、プラグインのLog Deliveryを設定してもメッセージが出ないのは、アラートやイベント、webtxデータがすべて消費されていて、キューから取得できるものが何もないからかもしれません。

What to do:

キューから消費するデータがあることを確認してください。{Storage_account} > Data Storage > Queues > {Queue}へ移動してください。

プルされたイベントを変換する際に問題が発生する

Azure Netskope LogStreaming プラグインからイベントを正常に取得した後、イベントを変換しようとしても、イベントを変換できません。この根本原因としては、エラーが発生したイベントタイプがマッピングファイルに追加されていないことが考えられます。

What to do:

必ず 上記のマッピングファイルを用意してください。これは、イベント、アラート、WebTxデータをJSON形式で取り込むためのものです。

プロキシでプラグインを使用するときに問題に直面する

使うプロキシサーバーを使い、プロキシでプラグインを設定している場合、以下のエラーが出るかもしれません:

これはプロキシサーバーがローカルインスタンスにデプロイされているため、プラグインをクラウドインスタンスで使うしているためかもしれません。

What to do:

プロキシサーバーをローカルインスタンスではなく、クラウドインスタンスにデプロイしてください。 ローカルインスタンスではなく。

既知の動作

NetskopeテナントでRBACv3が有効になっている場合、 Netskope LogStreamingサービスにアクセスできません。

制限

このプラグインは、クラウドインスタンスにデプロイされたCloud Exchangeでのみサポートされています。