Splunkへのストリームログ

Netskope Log Streamingは、ログファイルをSplunk Add-on for AWSに送信する機能をサポートしています。このドキュメントは、AWSバケットからSplunkにデータを取り込む方法を説明します。AWS から Splunk にデータを取得するには、Amazon ウェブ サービス (AWS) 用の Splunk アドオンがあります。

Splunk Add-on for AWS のサイジング、パフォーマンス、およびコストに関する考慮事項：

https://splunk.github.io/splunk-add-on-for-amazon-web-services/SizingAndCost

大まかに言うと、データの継続性とダッシュボードの機能を維持するために必要な手順は以下のとおりです。

1. Netskopeアドオン（Splunk用）をインストールしてください（まだインストールされていない場合）。
2. Netskopeアドオンを最新バージョン（最低バージョンv4.4.0）にアップデートしてください。
3. AWSアドオン入力の設定 以下の指示に従って、該当するソースタイプを設定してください。
4. 他のカスタムソースタイプのケース内のソースタイプスタンザを更新することを検討してください。

Splunk でのデータの取得 Amazon ウェブ サービス (AWS) 用の Splunk アドオンを使う

Amazon ウェブ サービス (AWS) 用の Splunk アドオンを使用して、Splunk の AWS S3 バケットからデータを取得する直接的なアプローチ。 この方法では、SplunkのAWSコネクタを活用して、S3バケットからデータを取得できます。

このアプローチには、S3からデータを取得するための2つの方法が含まれています。

1. リアルタイム データの取得 SQS ベースの入力 (推奨)
2. 履歴データの取得 一般的な S3 入力を使う

Splunk 用の旧バージョンの Netskope アドオンをインストールする必要があります。これは、ソースタイプと必要なNetskopeマッピングが存在することを保証するために不可欠であり、AWS TA によって抽出されたログがNetskope TA によって適切に解析され、インデックス作成と検索が正常に行われるようにします。

リアルタイム データの取得 SQS ベースの S3 入力 (推奨)

リアルタイムデータを収集するには、ユーザーはSplunk Add-on for AWSからSQSベースのS3入力を設定する必要があります。SQS ベースの S3 入力に関する詳細については、公式ドキュメントを参照してください: https://splunk.github.io/splunk-add-on-for-amazon-web-services/SQS-basedS3/

前提条件

AWSユーザーには、以下の権限が必要です。

1. SQSへのアクセスには権限が必要です。
   • GetQueueUrl
   • ReceiveMessage
   • SendMessage
   • DeleteMessage
   • ChangeMessageVisibility
   • GetQueueAttributes
   • ListQueues
2. S3バケットおよびオブジェクトに必要な権限：
   • GetObject（バケットバージョニングが無効になっている場合）。
   • GetObjectVersion（バケットバージョン管理が有効になっている場合）。
3. KMSに必要な権限：
   • Decrypt

詳細については、Splunk Add-on for AWS の公式ドキュメント「 SQS ベースの S3 入力に対する AWS 権限の設定」を参照してください。

AWSでSQSキューを作成する

1. 検索パネルから「SQS（Simple Queue Service）」を検索してください。
2. S3バケットと同じリージョンに標準のSQSキューを作成し、 Visibility Timeoutを5分以上に設定し、 Dead-letter queueを有効にします。
   • デッドレターキューは 無効なメッセージを格納するための入力用です。 SQS デッドレターキューとその設定方法については、AWS ドキュメントの「Amazon SQS デッドレターキュー」のトピックを参照してください。

AWSでSNSトピックを作成する

1. 検索パネルからSNS（簡易通知サービス）を検索してください。
2. S3バケットと同じリージョンに、標準のSNSトピックを作成します。
3. 作成後、SNSトピックARNをメモしてください。
4. アクセスを編集 SNSトピックのアクセスを編集し、以下のサンプルに置き換えてください 保存してください：
   以下のプレースホルダーにAWS SNSとS3バケットのARNを入力してください。 { “Version”: “2008-10-17”, “Id”: “example-ID”, “Statement”: [ { “Sid”: “example-statement-ID”, “Effect”: “Allow”, “Principal”: { “AWS”: “*” }, “Action”: “SNS:Publish”, “Resource”: “”, “Condition”: { “ArnLike”: { “aws:SourceArn”: “” } } } ] }
5. SNSトピックのCreate subscriptionをクリックしてSQSサービスを購読し、上記の手順で作成したSQSキューを具体的に選択します。

S3からイベント通知を作成する

1. S3からバケットへ移動 > Properties.
2. Event notifications セクションから“Create event notification”を選択します。
3. Event types セクションで、 Object creation.からAll object create events を選択します。
4. Destination, でSNS Topic.を選択します
5. ドロップダウンリストから作成済みのSQSキューSelect 。

AWS 用 Splunk アドオンの設定

1. Splunkbase または Splunk ウェブからAmazon ウェブ サービス (AWS) 用の Splunk アドオンをsplunk インスタンスにインストールします。 さらに詳しく知りたい方は、 AWS for Splunkアドオンのインストール概要をご覧ください。
2. IAMユーザーを設定した後、Splunkアドオンでアカウントを設定します。
   1. Configuration ページへ移動してください。
      
   2. In the Account tab, click Add.
      
   3. 名前、キーID、秘密鍵などの必要な情報を追加してください。
   4. Addをクリックしてください。
3. アカウントの設定が正常に完了したら、S3バケットからデータを収集するための新しい入力を作成します。
   1. Go to the Inputs page.
      
   2. Create New Input > Custom Data Type > SQS-based S3.を選択
   3. 必要な情報をすべての必須項目に入力してください。「SQSキュー名」には、以前に作成したSQSキューを選択してください。
   4. 関連するソースタイプを更新します (例: Netskope :web_transaction:nls ( Netskopeウェブ トランザクション データの場合))。 入力構成に基づくソースタイプの検討（すべてのファイルをCSVとして解析）のセクションを参照してください。
   5. NLS 経由でウェブ トランザクション データを取り込むには、ソースタイプNetskope :web_transaction:nls を使用し、入力構成中に詳細設定で“Parse all files as CSV” option disabled (unchecked)を維持することをお勧めします。 このオプションをウェブトランザクションデータに対して有効にすることは推奨されません。 increased Splunk license consumption発生する可能性があり、またfield parsing issues.発生する可能性もあります
      
      ウェブトランザクションデータ以外のログタイプについては、 “Parse all files as CSV”オプションを有効にして、ログを JSON 形式で取り込むことができます。
      
      このオプションを無効にすると、ログはCSV形式で取り込まれます。ただし、選択したソースタイプによっては、CSVフィールド抽出のための追加設定が必要になります。適切なログ解析を確実に行うため、セクション“Updating Field Extraction Configuration for a Sourcetype Using Splunk Web”に記載されている設定を検証することをお勧めします。
      
   6. Parse all files as CSV が有効になっている場合、「CSV フィールド区切り文字」が必要です。詳細設定セクションのこのフィールドが、ソースCSVファイルの区切り文字 に従って設定されていることを確認してください。
   7. その他の項目はすべてデフォルトのままにしてください。
   8. Addをクリックしてください。

Sourcetype Consideration Based on the Input Configuration (Parse all files as CSV):

“Parse all files as CSV” = True場合下記の表を参照してください。

データ型	Sourcetype
アラート	netskope:alert
応用	Netskope :アプリケーション
接続（ページデータ）	Netskope :接続
Endpoint	netskope:endpoint
Incident	Netskope ：インシデント
ネットワーク	netskope:network

ここではデータはJSON形式になるため、フィールドの自動抽出が行われます。

“Parse all files as CSV” = False場合下記の表を参照してください。

データ型	Sourcetype
Web Transaction	netskope:web_transaction:nls
アラート	netskope:alerts:nls
応用	Netskope :アプリケーション:nls
接続（ページデータ）	Netskope :connection:nls
Endpoint	netskope:endpoint:nls
Incident	Netskope :incident:nls
ネットワーク	netskope:network:nls

Dashboard & Search Updates Required

• 既存のSplunkダッシュボードやレポートクエリは、レガシーソースタイプと新しいソースタイプの両方をサポートするように更新する必要があります。例えば:
  
  sourcetype IN (「」Netskope:web_transaction", "Netskope:web_transaction:nls")

• クエリを標準化することをお勧めします 該当する場合はワイルドカードを使用してください:
  
  sourcetype=” Netskope :web_transaction*”

Performance Reference

https://splunk.github.io/splunk-add-on-for-amazon-web-services/S3PerformanceReference/#measured-performance-data

履歴データの取得 一般的な S3 入力を使う

前提条件

1. AWSサービスの設定、IAMロールおよびユーザーの作成権限を持つ有効なAWSアカウント。さらに詳しい情報が必要な場合は、 AWSアカウントの前提条件を参照してください。
2. ユーザーは s3admin ポリシーでIAMロールを持つ必要があります。詳細な手順については、ドキュメント「AWS 用 Splunk アドオンのアカウント管理」を参照してください。

既知の問題

• 汎用S3入力は、バケット内のすべてのオブジェクトを一覧表示し、S3バケットから未収集データを取得するために実行されるたびに、各ファイルの更新日時を調べます。バケット内のオブジェクトの数が多い場合、これは非常に時間がかかり、スループットも低くなる可能性があります。したがって、Splunkは効率性を高めるために、SQSベースのS3入力構成を推奨します。
• 一方 一般的なS3入力では、いくつかのイベントセットでフィールドと値の解析が一致しないことが判明しました。 これは、汎用S3入力のパーサー（AWS TA – v8.1.0）に関する問題であることが特定されました。Splunkにはこの件が通知されており、Splunkアドオンチームが修正に取り組んでいます。 SQSベースのS3入力方法を使用することをお勧めします。

AWS 用 Splunk アドオンの設定

1. SplunkbaseまたはSplunk webからSplunk Add-on for Amazon web Services(AWS) をインストールしてください。 さらに詳しく知りたい方は、 AWS for Splunkアドオンのインストール概要をご覧ください。
2. Splunkでアカウントを設定する前に、ユーザーはAWSアカウントとs3adminロールを持つIAMロールが必要になります。詳細については、ドキュメントを参照してください: Splunk Add-on for AWS のアカウントを管理します。
3. IAMロールを設定した後、Splunkアドオンでアカウントを設定します。
   1. Configuration ページへ移動してください。
      
   2. Account タブでAddをクリックします。
      
   3. 名前、キーID、秘密鍵などの必要な情報を追加してください。
   4. Addをクリックしてください。
4. アカウントの設定が正常に完了したら、S3バケットからデータを収集するための新しい入力を作成します。
   1. Inputs ページへ移動してください。
      
   2. Create New InputをクリックしてCustom Data Type > Generic S3.を選択してください。
   3. 必須項目すべてに必要事項を入力してください。「S3 Bucket」フィールドでは、Netskopeのファイルを含むバケットを選択します。詳細については、ドキュメントを参照してください: Splunk Add-on for AWS の汎用 S3 入力の設定。
   4. Netskope Webtx データの場合、例えばNetskope :web_transaction:nls のように、関連するソースタイプを更新します。 下記の「入力構成に基づくソースタイプの検討（すべてのファイルをCSVとして解析）」のセクションを参照してください。
   5. NLS 経由でウェブ トランザクション データを取り込むには、ソースタイプNetskope :web_transaction:nls を使用し、入力構成中に詳細設定で“Parse all files as CSV” option disabled (unchecked)を維持することをお勧めします。 このオプションをウェブトランザクションデータに対して有効にすることは推奨されません。 increased Splunk license consumption発生する可能性があり、またfield parsing issues.発生する可能性もあります
      
      ウェブトランザクションデータ以外のログタイプについては、 “Parse all files as CSV”オプションを有効にして、ログを JSON 形式で取り込むことができます。
      
      このオプションを無効にすると、ログはCSV形式で取り込まれます。ただし、選択したソースタイプによっては、CSVフィールド抽出のための追加設定が必要になります。適切なログ解析を確実にするために、セクション“Updating Field Extraction Configuration for a Sourcetype Using Splunk Web”で概説されている構成を検証することをお勧めします。

Sourcetype Consideration Based on the Input Configuration (Parse all files as CSV):

“Parse all files as CSV” = True場合下記の表を参照してください。

データ型	Sourcetype
アラート	netskope:alert
応用	Netskope :アプリケーション
接続（ページデータ）	Netskope :接続
Endpoint	netskope:endpoint
Incident	Netskope ：インシデント
ネットワーク	netskope:network

ここではデータはJSON形式になるため、フィールドの自動抽出が行われます。

“Parse all files as CSV” = False場合下記の表を参照してください。

データ型	Sourcetype
Web Transaction	netskope:web_transaction:nls
アラート	netskope:alerts:nls
応用	Netskope :アプリケーション:nls
接続（ページデータ）	Netskope :connection:nls
Endpoint	netskope:endpoint:nls
Incident	Netskope :incident:nls
ネットワーク	netskope:network:nls

Dashboard & Search Updates Required

• 既存のSplunkダッシュボードやレポートクエリは、レガシーソースタイプと新しいソースタイプの両方をサポートするように更新する必要があります。例えば:
  
  sourcetype IN (「」Netskope:web_transaction", "Netskope:web_transaction:nls")

• クエリを標準化することをお勧めします 該当する場合はワイルドカードを使用してください:
  
  sourcetype=” Netskope :web_transaction*”

Netskopeログ ストリーミングは、Microsoft クラウド サービス (MSCS) 用の Splunk アドオンへのログ ファイルの送信をサポートしています。 このドキュメントは、Azure Storage BlobからSplunkにデータを取得する方法を説明します。Azure から Splunk にデータを取得するには、Microsoft クラウド サービス (MSCS) 用の Splunk アドオンがあります。

大まかに言うと、データの継続性とダッシュボードの機能を維持するために必要な手順は以下のとおりです。

1. Netskopeアドオン（Splunk用）をインストールしてください（まだインストールされていない場合）。詳細はこちらをご覧ください。
2. Netskopeアドオンを最新バージョン（最低バージョンv4.4.0）にアップデートしてください。
3. MSCSアドオン入力の設定 標準のNetskope :web_transaction:nlsソースタイプ。
4. 他のカスタムソースタイプのケース内のソースタイプスタンザを更新することを検討してください。

Splunk でのデータの取得 Microsoft クラウド サービス (MSCS) 用の Splunk アドオンを使用する

このアプローチにより、Splunk の Azure コネクタを利用して Microsoft クラウド サービス用 Splunk アドオン (MSCS) を使用して、Azure Storage Blob から Splunk への直接データの取り込みが可能になり、データを Azure Storage Blob から安全に取得して、Splunk で分析できるようになります。

Mandatory Requirement: Splunk用のレガシーNetskopeアドオン を最新バージョンに更新する必要があります。これは、ソースタイプや必要な Netskope マッピングが存在していることを確実にし、新しいMSCS TAによって抽出されたログを Netskope TAによって正しく解析され、インデックス化や検索が成功することを可能にするために不可欠です。

データを使う Azure Storage Blob 入力の取得

前提条件

1. Azureストレージアカウント。詳細については、「Microsoft クラウド サービスでのストレージ アカウントの構成」を参照してください。
2. データは、アクセス キー、アカウント トークンを使用して、またはアクセス キーやトークンを使用せずにストレージ BLOB から収集できます。

MSCSセットアップ用Splunkアドオン

1. Splunkbase または Splunk ウェブから Splunk インスタンスにMicrosoft クラウド サービス用の Splunk アドオンをインストールします。 詳細については、「Microsoft クラウド サービス用の Splunk アドオンのインストール」に従ってください。
2. ストレージアカウントを作成する
   1. Configuration ページ> Azure Storage Accountタブに移動してください。
   2. Azure Storage Account タブで、[追加]をクリックします。
      
   3. 名前、アカウント名、アカウントシークレット、アカウントシークレットタイプ、アカウントクラスタイプなどの必要な情報を追加してください。
   4. 「追加」をクリックしてください。
   5. 詳細については、 Microsoft クラウドサービスのSplunkアドオンでConnect to your Azure Storage Accountをご覧ください。
3. ストレージアカウントの設定が正常に完了したら、ストレージブロブからデータを収集するための新しい入力を作成します。
   1. Inputs ページへ移動してください。
      
   2. Create New Inputをクリック > Azure Storage Blob.を選択
   3. 必須項目すべてに必要事項を入力してください。
   4. 「コンテナ名」フィールドに、Netskopeファイルを含むブロブを格納するコンテナの名前を入力します。
   5. 「Blobリスト」フィールドに、Netskopeファイルを含むBlob名をカンマ区切りで入力します。
   6. Netskope Webtx データの場合、例えばNetskope :web_transaction:nls のように、関連するソースタイプを更新します。 下記の「入力構成に基づくソースタイプの検討（すべてのファイルをCSVとして解析）」のセクションを参照してください。
   7. NLS 経由でウェブ トランザクション データを取り込むには、ソースタイプNetskope :web_transaction:nls を使用し、入力構成中に詳細設定で“Parse all files as CSV” option disabled (unchecked)を維持することをお勧めします。 このオプションをウェブトランザクションデータに対して有効にすることは推奨されません。 increased Splunk license consumption発生する可能性があり、またfield parsing issues.発生する可能性もあります
      
      ウェブトランザクションデータ以外のログタイプについては、 “Parse all files as CSV”オプションを有効にして、ログを JSON 形式で取り込むことができます。
      
      このオプションを無効にすると、ログはCSV形式で取り込まれます。ただし、選択したソースタイプによっては、CSVフィールド抽出のための追加設定が必要になります。適切なログ解析を確実にするために、セクション“Updating Field Extraction Configuration for a Sourcetype Using Splunk Web”で概説されている構成を検証することをお勧めします。
   8. For the CSV field delimiter parameter, specify the delimiter used in the Netskope data files.
   9. 詳細についてはドキュメントを参照してください:Microsoft クラウドサービスのSplunkアドオン用Azure Storage Blob modular inputsの設定。
   10. Addをクリックしてください。

Sourcetype Consideration Based on the Input Configuration (Parse all files as CSV):

“Parse all files as CSV” = True場合下記の表を参照してください。

データ型	Sourcetype
アラート	netskope:alert
応用	Netskope :アプリケーション
接続（ページデータ）	Netskope :接続
Endpoint	netskope:endpoint
Incident	Netskope ：インシデント
ネットワーク	netskope:network

ここではデータはJSON形式になるため、フィールドの自動抽出が行われます。

“Parse all files as CSV” = False場合下記の表を参照してください。

データ型	Sourcetype
Web Transaction	netskope:web_transaction:nls
アラート	netskope:alerts:nls
応用	Netskope :アプリケーション:nls
接続（ページデータ）	Netskope :connection:nls
Endpoint	netskope:endpoint:nls
Incident	Netskope :incident:nls
ネットワーク	netskope:network:nls

Dashboard & Search Updates Required

• 既存のSplunkダッシュボードやレポートクエリは、レガシーソースタイプと新しいソースタイプの両方をサポートするように更新する必要があります。例えば:
  
  sourcetype IN (「」Netskope:web_transaction", "Netskope:web_transaction:nls")

• クエリを標準化することをお勧めします 該当する場合はワイルドカードを使用してください:
  
  sourcetype=” Netskope :web_transaction*”