Log Shipper 用 Elastic プラグイン

このドキュメントでは、 Netskope Cloud Exchange プラットフォームのLog ShipperモジュールでElastic v2.3.0プラグインの設定方法を説明しています。 このプラグインは、ECS (Elastic よくあるスキーマ) および JSON 形式でのアラート (DLP、マルウェア、ポリシー、侵害されたクレデンシャル、マルサイト、検疫、修復、セキュリティ評価、ウォッチリスト、UBA、CTEP) およびイベント (ページ、アプリケーション、監査、インフラストラクチャ、ネットワーク、インシデント、エンドポイント) の Elastic プラットフォームへの取り込みをサポートします。 Elastic Agentのデプロイの詳細については、ドキュメントを参照してください。

前提条件

この設定を完了するには、以下が必要です。

Elasticプラグインのサポート

Elasticプラグインは ElasticのDiscoverタブで、ECSおよびJSON形式のアラートとイベントをすべて取り込むためのものです。

タイプ	デスクリプション
アラートサポート	はい (侵害されたクレデンシャル、ポリシー、マルサイト、マルウェア、DLP、セキュリティ評価、ウォッチリスト、検疫、修復、UBA、CTEP)
イベントサポート	はい（ページ、アプリケーション、監査、インフラストラクチャ、ネットワーク、インシデント、エンドポイント）
WebTxサポート	サポートされていません
CEログ	サポートされていません

権限

ポート Elastic 上のNetskope統合におけるポートは、 Cloud Exchange経由でアクセスできる必要があります。

APIの詳細

このプラグインは、Pythonのソケットライブラリを利用してElasticサーバーとの接続を確立します。

具体的には、プラグイン 接続を開始するための socket.connect メソッドsocket.AF_INETおよびsocket.SOCK_STREAMプロトコル。 これにより、サーバーへの接続が信頼性が高く、ストリーム指向であることが保証されます。

さらに、このプラグインはsocket.sendallメソッドを利用してログをElasticサーバーに送信します。この方法により、すべてのデータが正常に送信されてから返送されます。

パフォーマンスマトリックス

このパフォーマンス測定は、下記のVM仕様を持つ大規模スタックCE上で実施されました。以下の読み取り値は、約 80 秒で約 10,000 のアラートとイベントを Elastic に取り込むことを考慮に入れて追加されています。

デスクリプション	仕様
スタックの詳細	サイズ：大 RAM：32 GB CPU：16コア
サードパーティのSIEMに取り込まれたアラート/イベント	約20万EPM

ワークフロー

再生ボタンをクリックして動画をご覧ください。

ElasticでNetskopeとの連携を設定する

1. Elasticにログインしてください。
   
2. Integrations .
   を検索して選択します。
3. Netskopeを検索して、 Netskopeボックスをクリックしてください。
   
4. Add Netskope .
   をクリックしてください
5. ドロップダウンメニューを展開してください。
   
6. ElasticサーバーとCloud Exchangeのデプロイ場所が一致する場合は、リスニングアドレスをlocalhostのままにしてください。そうでない場合は、リスニングアドレスに0.0.0.0を追加してください。要件に応じてリスニングポートを変更してください。設定したポートがCloud Exchangeからアクセス可能であることを確認してください。
   
7. NetskopeアラートとNetskopeイベントのトグルをPreserve original event有効にします。
   
   
8. カスタムタグを追加する場合は、 Advanced optionsをクリックしてタグを追加してください。
   
9. Save and continue .
   をクリックしてください
10. Save and deploy changes .
    をクリックしてください
11. 作成した統合ポリシーは、「統合ポリシー」の下に表示されます。
    

データをJSON形式で取り込む場合は、以下の手順に従って統合をデプロイしてください。

1. Integrations .
   を検索して選択します。
2. TCPを検索し、 Custom TCP Logs ボックスをクリックしてください。
   
3. Add Custom TCP Logs .
   をクリックしてください
4. ドロップダウンメニューを展開してください。
   
5. ElasticサーバーとCloud Exchangeのデプロイ場所が一致する場合は、リスニングアドレスをlocalhostのままにしてください。そうでない場合は、リスニングアドレスに0.0.0.0を追加してください。
   
6. Save and continue .
   をクリックしてください
7. Save and deploy changes .
   をクリックしてください
8. 新しく作成された統合ポリシーが [統合ポリシー] タブに表示されます。
   

Elasticプラグインを設定する

1. Cloud Exchangeで Settings > Pluginsに行ってください。CLS Elasticボックスを検索して選択してください。
   
2. プラグイン設定名を追加し、Elastic Default Mappings (推奨) ファイルが選択されていることを確認してください。
   データをJSON形式で取り込む場合は、ログ変換の切り替えボタンを無効にしてください。ECS形式で取り込む場合は、有効のままにしてください。 Next .
   をクリックしてください
3. Enter values for these parameters:
   • サーバーアドレス：データが取り込まれるElasticサーバーのIPアドレス。
   • サーバー ポート: Elastic での統合ポリシーの作成中に TCP ポートが使用されます。

   

4. Saveをクリックしてください。この新しいプラグインは Log Shipper > Plugins ページで利用可能です。
   

Elastic の Log Shipper ビジネスルールを設定する

1. Cloud Exchange で、 Log Shipper > Business Rulesに移動します。
2. デフォルトでは、すべてのアラートとイベントをフィルタリングするビジネスルールが設定されています。特定の種類のアラートやイベントを除外したい場合は、 Create New Rule をクリックして、ルール名とフィルターを追加して新しいビジネスルールを設定してください。
   
3. Saveをクリックしてください。

Elastic の Log Shipper SIEM マッピングを設定する

1. Cloud Exchangeで Log Shipper > SIEM Mappings に移動し、 Add SIEM Mappingsをクリックします。
2. Sourceプラグイン(NetskopeCLS)、Destinationプラグイン(Elastic)、ビジネスルールをSelectし、Saveをクリックします。
3. SIEM マッピングが追加されると、 Netskopeテナントからのデータの取得、変換、Elastic プラットフォームへの取り込みが開始されます。
   

Elasticプラグインを検証する

プルを検証する

Cloud Exchange のLoggingに移動して、プルされたログを検索してください。

プッシュ通知を検証する

Cloud Exchange でプラグインのワークフローを検証するには、 Loggingに移動し、フィルターmessage に ingested が含まれているものを使用して、取り込まれたイベントとアラートを検索します。取り込まれたログはフィルタリングされます。


Elasticでプッシュを検証するには：

1. Elasticにログインしてください。
   
2. Discover .
   を検索して選択します。
3. data_stream.dataset : "Netskope.alerts" または data_stream.dataset : "Netskope.events" を検索してください。 そしてUpdateをクリックします。または、タグを検索します： <the tag that was added while configuring the Netskope integration>「 」
   

   

   

   

   

   

   

   

   

   

   
   

   JSON Format
   
   

   Elasticプラグインのトラブルシューティング

   Elasticプラグインの保存に問題が発生した場合

   すべてのパラメータを入力してSaveをクリックしても、エラーが発生する可能性があります。考えられる原因は次のとおりです。
   サーバー/ポート構成が指定された設定と異なる可能性があります (Cloud Exchange/Elastic)。
   
   Elastic プラットフォームに移動し、 「Integrations」を検索します。 [インストールされた統合] に移動し、 Netskope card > Integration policiesをクリックして、[統合ポリシー] (使用する構成) をクリックします。
   両方とも同じであることを確認してください。
   

   既知の動作

   取り込み中に以下のいずれかのエラーが発生した場合は、ソケット関連の問題が原因である可能性があります。Elastic側で未解決の問題が確認されました。
   詳細については、以下を参照してください: JSON 解析例外 - 不正な文字 (Ctrl 文字)

   • タグ「json_message」を持つプロセッサ「json」が、「予期しない文字（'*'（コード42））：有効な値（JSON文字列、数値、配列、オブジェクト、またはトークン'null'、'true'、'false'）が必要です\n」というメッセージで失敗しました。[ソース：（org.elasticsearch..io.stream.ByteBufferStreamInput）；行：1、列：2]
   • タグ「json_message」を持つプロセッサ「json」が、「不正な文字（CTRL-CHAR、コード3）：トークン間には、通常の空白文字（\\\\r、\\\\n、\\\\t）のみが許可されています\\n」というメッセージで失敗しました。[ソース：（org.elasticsearch..io.stream.ByteBufferStreamInput）；行：1、列：2]
   • [ソース: (org.elasticsearch.よくある.io.stream.ByteBufferStreamInput); タグ「json_message」を持つプロセッサ「json」が失敗し、メッセージ「無効な UTF-8 開始バイト 0xbf\\n」が表示されました。行: 1、列: 3]'

   

   既知の制限事項

   既存のCLS Elastic（ELK）プラグインは、現在WebTxデータの取り込みをサポートしていません。 これは、ログを送信する既存のElastic Netskope連携機能が、アラートとイベントのみをサポートしているためです。したがって、現在のプラグインではWebTxのサポートを追加することはできません。WebTxをサポートするには、ElasticチームがNetskopeとの連携を更新する必要があります。

   この問題の回避策として、Syslog プラグインを使用して WebTx データを Elastic に送信し、カスタム TCP ログ統合を使用できます。 この方法では、ECSで変換されたログではなく、生のログが送信されます。ElasticsearchでカスタムTCPログの統合を設定するには、以下の手順に従ってください。

   1. ElasticsearchでIntegrationsに移動し、 「カスタムTCPログ統合」を検索してください。
      
   2. 右上隅にあるAdd Custom TCP Logsクリックしてください。
      
   3. 統合の名前とデスクリプションを入力します。
   4. Custom TCP Logsが有効になっていることを確認してください。展開して、リスニングアドレス、リスニングポート、データセット名を入力します。また、取り込んだログをフィルタリングするためのタグを指定し、 Save and continueをクリックしてください。
      
   5. これが完了したら、Netskope CE のCLS Syslogプラグインを設定します。
      Elasticのオンプレミス環境を使用している場合は、リスニングアドレスを0.0.0.0に指定してください。ポートを追加する際は、ポートが公開されていることを確認してください。