Log Shipper 用 Databricks プラグイン

このドキュメントでは、 Netskope Cloud Exchange プラットフォームのLog ShipperモジュールでDatabricks v1.0.0プラグインを設定する方法を説明しています。 このプラグインは使う Netskope アラート(DLP、マルウェア、ポリシー、Compromised クレデンシャル、Malsite、Quarantine、修復、セキュリティ評価、ウォッチリスト、UBA、CTEP、デバイス、コンテンツ)、イベント(ページ、アプリケーション、監査、インフラストラクチャ、ネットワーク、インシデント、エンドポイント、クライアントステータス)、WebTx データをAWS S3バケットに送信します。 このプラグインはJSON形式のデータ取り込みのみをサポートしています。Databricksでデータを閲覧するには、S3バケットがDatabricksの外部ロケーションとリンクされていることを確認してください。

前提条件

この設定を完了するには、以下が必要です。

• Netskopeテナント（または、例えば本番環境と開発／テスト環境など、複数のテナント）。
• TenantプラグインとLog Shipperプラグインが既に設定されているNetskope Cloud Exchangeインスタンスです。
• すでにAWS Netskope LogStreaming Plugin または Azure Log Streaming Plugin をWebtxログ取得用に設定しています。
• AWSアカウントにリンクされ、Unityカタログが有効になっているDatabricks Workspaceインスタンス。
• 認証ロールに以下のIAM権限が付与されたAWS S3バケット： s3:ListBucket, s3:GetBucketLocation, s3:PutObject 。
• Databricksの外部ロケーションにリンクされたAWS S3バケット。

Databricksプラグインのサポート

このプラグインは、 Netskopeアラート (DLP、マルウェア、ポリシー、侵害されたクレデンシャル、マルサイト、検疫、修復、セキュリティ評価、ウォッチリスト、UBA、CTEP、デバイス、コンテンツ)、イベント (ページ、アプリケーション、監査、インフラストラクチャ、ネットワーク、インシデント、エンドポイント、クライアント ステータス)、および WebTx データを AWS S3 バケットに送信するために使用します。 このプラグインはJSON形式のデータ取り込みのみをサポートしています。Databricksでデータを表示するには、S3バケットがDatabricksの外部ロケーションにリンクされていることを確認してください。

権限

プラグインの設定には、以下の権限が必要です。

• s3:ListBucket ターゲット S3 バケット
• s3:GetBucketLocation 対象のS3バケットに対して
• s3:ターゲットS3バケットにPutObjectを実行する

{
  "durationSeconds": 900,
  "profileArn": "{profile_arn}",
  "roleArn": "{role_arn}",
  "sessionName": "Session",
  "trustAnchorArn": "{trust_anchor_arn}"
}

{
  "credentialSet": [
    {
      "credentials": {
        "accessKeyId": "ASIA...",
        "secretAccessKey": "...",
        "sessionToken": "...",
        "expiration": "2024-01-01T00:15:00Z"
      }
    }
  ]
}

s3_client = boto3.client(
    "s3",
    aws_access_key_id=self.aws_public_key,
    aws_secret_access_key=self.aws_private_key,
    aws_session_token=self.aws_session_token,
    region_name=self.configuration.get("region_name", "").strip(),
    config=Config(
        proxies=self.proxy,
        user_agent=self.useragent,
    ),
)

s3_client.head_bucket(Bucket=bucket_name)

location = s3_client.get_bucket_location(Bucket=bucket_name)
bucket_region = location.get("LocationConstraint") or "us-east-1"

s3_client.upload_file(
    file_name,      # local temp file path
    bucket_name,    # S3 bucket name
    object_name,    # S3 object key
)

パフォーマンスマトリックス

このパフォーマンス測定は、以下のVM仕様を持つCloud Exchangeの大規模スタック上で実施されました。これらの測定値は、約15,000件のNetskopeアラート/イベントを5秒間に宛先に送信することを考慮に入れて追加されています。

ユーザーエージェント

APN/1.1 (ahq9d89xj9gspapczzdb59goq)

ワークフロー

1. Databricks プラグインを構成するにはクレデンシャルを入手してください
2. Databricksプラグインを設定します。
3. ビジネスルールを設定します。
4. ログ配信を設定します。
5. プラグインを検証してください。

動画を見る

再生ボタンをクリックして動画をご覧ください。

AWS 上での設定

ポリシーを作成する

1. AWSアカウントにログインし、 IAM > Policiesに移動してからCreate Policyをクリックします。

   

2. jsonSelectして、このポリシーを貼り付けてください。

   {
   	"Version": "2012-10-17",
   	"Statement": [
   		{
   			"Sid": "VisualEditor0",
   			"Effect": "Allow",
   			"Action": [
   				"s3:GetBucketLocation",
   				"s3:PutObject",
   				"s3:ListBucket"
   			],
   			"Resource": "*"
   		}
   	]
   }

   

3. 名前を入力してデスクリプションを入力。

   

4. Create Policyをクリックしてください。

   

AWS認証にデプロイ済み

役割を作成する

1. AWSコンソールでIAM Servicesに移動してください。

2. Go to the Roles page under Access management and click Create Role.

   

3. AWSサービスをSelect。

4. Under Use case, select EC2.

5. Nextをクリックしてください。

   

6. 「ポリシーの作成」で作成した権限ポリシーSelect 。

   

7. Nextをクリックしてください。

8. ロール名とデスクリプションを入力します. 

   

9. Create Roleをクリックしてください。

   

EC2インスタンスにロールを割り当てる

1. EC2インスタンスのコンソールを開きます。

2. インスタンスページに移動し、Cloud Exchangeがデプロイされている必要なインスタンスを選択します。

   

3. Action > Security > Modify IAM Roleへ移動してください。

   

4. 上記で作成した役割を「役割の作成」でSelect 。

5. Add IAM Role / Update IAM Roleをクリックしてください。EC2インスタンスとS3バケットは、同じリージョンに配置する必要があることに注意してください。

   

   EC2インスタンスのIAMロールを更新した後でも、権限関連のエラーが発生する場合は、EC2インスタンスを再起動してください。

IAMロール認証（どこでも認証可能）

前提条件

プラグインを認証するには、AWS Certificate Manager サービスを有効にする必要があります。 AWS IAM Roles Anywhere認証方式。

プライベート認証局、トラストアンカー、およびプロファイルは、AWS S3バケットが存在するリージョンと同じリージョンに作成してください。

ポリシーを作成する

この には、プライベート CA 証明書を作成するために必要な権限 (トラスト アンカーとプロファイルを作成するための権限を含む) と IAM ロール Anywhere が含まれています。

1. ポリシー ジェネレーターに移動し、ポリシー タイプとして IAM ポリシーを選択し、ポリシーを生成します。

   1. ポリシーの種類Select : IAM ポリシー

   2. 効果：許可する

   3. AWSサービス: AWSプライベート認証局

   4. アクション:

      • 証明書認証局を作成する
      • 認証局について説明します
      • 証明書を取得する
      • 認証局証明書を取得する
      • GetCertificateAuthorityCsr
      • 輸入証明書認証局証明書
      • 証明書の発行
      • 認証局一覧

   5. ARN: *

   6. Add Statementをクリックしてください。

      

   7. ポリシーの種類Select : IAM ポリシー

   8. 効果：許可する

   9. AWSサービス：AWS Identity and Access Management（IAM）

   10. アクション:

       • 役割ポリシーを添付する
       • CreateAccessKey
       • ロールの作成
       • 役割を削除
       • パスロール

   11. ARN: *

   12. Add Statementをクリックしてください。

       

   13. ポリシーの種類Select : IAM ポリシー

   14. 効果：許可する

   15. AWSサービス: AWS証明書マネージャー

   16. アクション:

       • 証明書の説明
       • 輸出証明書
       • 証明書を取得する
       • 証明書一覧
       • 証明書のタグ一覧
       • 証明書のリクエスト

   17. ARN: *

   18. Add Statementをクリックしてください。

       

   19. ポリシーの種類Select : IAM ポリシー

   20. 効果：許可する

   21. AWS サービス: AWS Identity and Access Management ロールをどこでも

   22. アクション:

       • プロフィールの作成
       • CreateTrustAnchor
       • プロフィールを取得する
       • GetTrustAnchor
       • プロフィール一覧
       • リストトラストアンカー

   23. ARN: *

   24. Add Statementをクリックしてください。

       

   25. Click Generate Policy.

       

   26. ポリシーは、プライベート CA 証明書の作成に必要なポリシーを作成する次の手順で使用するため、コピーします。

2. AWS コンソールにアクセスし、 「すべてのサービス」からIAMを選択します。左側のパネルのPoliciesをクリックし、次にCreate Policyをクリックします。

   

3. 前のセクションで生成されたポリシーをJSONタブに貼り付けます。Next: TagsとNext: Review.をクリックしてください。

   

4. 名前を入力してSave Changesをクリックしてください。

   

プライベート認証局を作成する

1. AWSコンソールにログインしてください。

2. Search for Certificate Manager.

   

3. AWS Private CAをクリックしてください。

4. Create a private CAをクリックしてください。

   

5. For Mode Options, select General-purpose, and for CA type options, select Root.

   

6. 組織名（O）を入力してください。

   

7. For Key algorithm options, select RSA 2048.

   

   

8. Add tags if any (optional).

9. Enable the checkbox in the CA permissions options section.

10. Enable the checkbox in the Pricing section.

11. CA証明書を作成するには、 Createをクリックしてください。

    

    

12. For Actions, select Install.

    

13. Confirm and Installをクリックしてください。

    

    

信頼の基盤を築く

1. Search for IAM Service and go to Roles under Access management. Scroll down to Roles Anywhere and select Manage.

   

2. Create a trust anchorをクリックしてください。

   

3. トラストアンカー名を入力してください。

   

4. 認証局（CA）ソースとして、AWS Certificate ManagerプライベートCA（前の手順で作成済み） Select 。

5. SelectAWS Certificate Manager Private CAで作成した証明書です。

6. 必要に応じてタグを追加してください。

7. Create a trust anchorをクリックしてください。

   

   

8. 作成されたトラストアンカーをクリックし、トラストアンカーのARNをコピーします。これは、AWS IAM Roles Anywhere認証方式のプラグインのTrust Anchor ARN設定パラメータで必要になります。

   

IAMロールを作成する

1. AWSコンソールでIAM Servicesに移動してください。

2. Click Role in the Access management submenu.

3. Create Roleをクリックしてください。

   

4. For the Trusted entity type, select Custom Trust Policy.

   

5. カスタム信託ポリシーをこの信託ポリシーに置き換えてください。このポリシーには使う Roles Anywhere サービスの許可が含まれています:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": [
                       "rolesanywhere.amazonaws.com"
                   ]
               },
               "Action": [
                   "sts:AssumeRole",
                   "sts:TagSession",
                   "sts:SetSourceIdentity"
               ]
           }
       ]
   }

   

6. Nextをクリックしてください。

7. [アクセス許可ポリシー] で、以前に[ポリシーの作成]セクションから作成したポリシーを選択します。

   

8. Nextをクリックしてください。

9. ロール名とデスクリプションを入力してください。

   

10. Create roleをクリックしてください。

11. 作成した役割を検索し、役割名をクリックします。

    

12. ロールARNをメモしておいてください。これは、AWS IAM Roles Anywhere認証方法のプラグインのロールARN設定パラメータで必要になります。

    

プロフィールを作成する

1. AWSコンソールでIAM Servicesに移動してください。

2. Select Roles present under Access management.

3. 「Roles Anywhere」までスクロールダウンして、 Manageをクリックします。

   

4. セットアップ手順を展開してください。

5. Step 2: Configure rolesをクリックしてください。

6. Configure a profileをクリックしてください。

   

7. プロフィール名を入力してください。 

8. Select the role created in the Create IAM Role step.

   

9. インラインポリシーを削除してください。

   

10. Create profileをクリックしてください。

    

    

11. 作成されたプロファイルをクリックし、プロファイルARNをコピーします。

    

プライベート証明書をリクエストする

1. AWS Certificate Manager > Request certificateへ移動してください。

2. Request a private certificate Select 。

   

3. Nextをクリックしてください。

4. 前の手順で作成した認証局Select 。

   

5. 完全修飾ドメイン名欄にドメイン名を入力してください。例えば、 Netskope -ce.com のように入力します。

6. For Key algorithm, select RSA 2048.

   

7. 必要に応じてタグを追加してください。

8. 証明書の更新権限を承認してください。

9. Requestをクリックしてください。

   

10. AWS Certificate Manager のナビゲーション ペインからList certificates に移動します。

11. 以前に作成した証明書Select 。

    

12. Exportをクリックしてください。

    

13. パスフレーズ. を入力してください。AWS S3 プラグインの設定に必要となるため、パスフレーズをメモしておいてください。 AWS IAM Roles Anywhere認証方法。

14. Generate PEM Encodingをクリックしてください。

    

15. 証明書はすべてダウンロードしておいてください。一度ダウンロードすると、二度と表示されなくなります。新しい証明書の場合は、再度エクスポートする必要があります。

    

16. AWS S3プラグインの設定に必要となるため、証明書の本文と証明書の秘密鍵をコピーしてください。 AWS IAM Roles Anywhere認証方法。 詳細については、 AWS IAM Role Anywhereを参照してください。

AWS S3バケットをDatabricksの外部ロケーションにリンクする

1. DatabricksにログインしてWorkspaceに移動してください。

   

2. 上部の検索バーにExternal Locationsと入力し、検索結果から選択してください。

   

3. Create external locationをクリックしてください。 

   

4. Select AWS Quickstart して Nextをクリックします。

   

5. Provide the bucket name in this format s3://<bucket-name>, and click Generate new token.

   

6. 生成されたトークンをコピーし、 Launch in Quickstartをクリックしてください。

   

7. これにより、AWSコンソールにリダイレクトされます。Databricksパーソナルアクセストークン欄に、パーソナルアクセストークンを入力してください。 

   

8. 確認事項を確認してから、 Create stackをクリックしてください。

   

9. 処理が完了すると、10分から15分後にDatabricks上で外部ロケーションを確認できるようになります。

   

Databricksプラグインの設定

1. Cloud Exchange で、 Settings > Plugin Storeに移動します。Databricks v1.0.0 (CLS)プラグインを検索して選択してください。

   

2. 基本情報を入力してください：

   • Configuration Name: プラグインの設定名を指定してください。
   • Mapping: 使うのマッピング構成を選択します。 設定から新しいものを追加 >Log Shipperでできます。
   • Format: 変換したいデータの形式を選択してください。JSONを選択すると、生のJSONログが送信されます。ログ配信設定が生ログ形式に対応していない場合、データ取り込みに影響が出る可能性があります。

   

3. 認証方法に応じて、 Nextをクリックして設定パラメータを入力してください。

   • Deployed on AWS authentication:

     • Authentication Method: Select AWSクライアント認証のための使う方法。 「AWSにデプロイされた」使う、AWS環境に付随するIAMインスタンスプロファイルまたは役割。 「AWS IAM Roles Anywhere」使う X.509 証明書と秘密鍵を使い、AWS クレデンシャルを一時的に取得できます — これはCEがAWS外で動作しているときに使う。
     • AWS S3 Bucket Region Name: 対象のS3バケットが存在するAWSリージョン。IAM Roles Anywhere を使用する際は、リージョンがプロファイル ARN およびトラスト アンカー ARN のリージョンと一致していることを確認してください。 IAM Roles Anywhere。
     • AWS S3 Bucket Name: Netskopeのアラートとイベントが保存されるAWS S3バケットの名前。このバケットはDatabricks外部ロケーションにリンクする必要があります。
       例: Netskope -alerts-bucket。

     

   • IAM Roles Anywhere authentication:

     • Authentication Method: Select AWSクライアント認証のための使う方法。 「AWSにデプロイされた」使う、AWS環境に付随するIAMインスタンスプロファイルまたは役割。 「AWS IAM Roles Anywhere」使う X.509 証明書と秘密鍵を使い、一時的なAWS クレデンシャルを取得します。 CEがAWSの外で動作しているときに使う。
     • Private Key: PEMエンコードされた秘密鍵 AWSプライベートCA証明書を復号化します。 AWS IAM Roles Anywhere認証に必要です。
     • Certificate Body: AWSプライベートCAまたはパブリックCAによって発行された、PEMエンコードされたX.509証明書の本文。AWS IAM Roles Anywhere認証に必要です。
     • Password Phrase: 暗号化されている場合、CA証明書を復号するために使うパスフレーズを使います。 AWS IAM Roles Anywhere認証に必要です。
     • Profile ARN: IAM Roles AnywhereプロファイルのARN。形式: arn:aws:rolesanywhere:{region}:{account-id}:profile/{profile-id}。AWS IAM Roles Anywhere認証に必要です。
     • Role ARN: 引き受けるIAMロールのARN。形式: arn:aws:iam::{account-id}:role/{role-name} 。AWS IAM Roles Anywhere認証に必要です。
     • Trust Anchor ARN: IAM Roles AnywhereトラストアンカーのARN。形式:arn:aws:rolesanywhere:{region}:{account-id}:trust-anchor/{anchor-id}。AWS IAM Roles Anywhere認証に必要です。
     • AWS S3 Bucket Region Name: 対象のS3バケットが存在するAWSリージョン。IAM Roles Anywhere を使用する際は、リージョンがプロファイル ARN およびトラスト アンカー ARN のリージョンと一致していることを確認してください。 IAM Roles Anywhere。
     • AWS S3 Bucket Name: Netskopeのアラートとイベントが保存されるAWS S3バケットの名前。このバケットは、Databricksの外部ロケーションにリンクする必要があります。例: Netskope -alerts-bucket 。

     

     

4. Saveをクリックしてください。

   

Databricks の Log Shipper ビジネスルールを設定する

1. Log ShipperでBusiness Rulesに移動し、 Add Business Ruleをクリックします。

2. デフォルトでは、すべてのアラートとイベントをフィルタリングするビジネスルールが設定されています。特定の種類のアラートやイベントを除外したい場合は、 Create New Ruleをクリックして、ルール名とフィルターを追加して新しいビジネスルールを設定します。

   

3. Saveをクリックしてください。

DatabricksプラグインのLog Shipperログ配信を設定する

1. Log ShipperでLog Deliveryに移動し、 Add Log Delivery Configurationをクリックします。

2. ソース構成、宛先構成、およびビジネスルールSelect 。

   

3. Saveをクリックしてください。

   

Databricksプラグインを検証する

プルを検証する

Cloud ExchangeでLoggingに移動し、取得したログを検索します。

プッシュ通知を検証する

Cloud Exchangeでプラグインのワークフローを検証するには、Loggingにアクセスし、フィルターで取り込まれたイベントやアラートを検索してください:message contains "ingested" または message contains "<destination plugin configuration name>"

Databricks 上でプッシュを検証する

Databricksインスタンスにログインし、データ取り込みページに移動してください。

Databricksコネクタの下にあるAmazon S3をクリックしてください。プラグインの設定時に外部の場所をSelectCloud Exchange使う。

Sample ingested alerts:

Sample ingested events:

Sample ingested Webtx logs:

Databricksプラグインのトラブルシューティング

プラグインを設定できません

原因としては、以下のいずれかの理由が考えられます。

• Cloud Exchangeがホストされている EC2 インスタンスにロールが割り当てられていません (AWS 認証でデプロイされた場合)。
• IAM ロールどこでも認証のケースのクレデンシャルが正しくありません。

What to do:

1. ケース あなたは使う Deployed on AWS 認証を担当し、 Deployed on AWS 認証 のセクションを参照してください
2. ケースでは使う IAM Roles Anywhere 認証を行ったら、 IAM Role Anywhere 認証 のセクションを参照してください。

AWS S3バケットのリージョン不一致

「AWS S3 バケットは存在しますが、構成済みのリージョン'{configured}' ではなく、リージョン '{actual} }' にあります」というエラーが表示される場合、プラグイン構成のAWS S3 Bucket Region Nameがバケットの実際のリージョンと一致していないことが原因である可能性があります。

What to do:

1. AWS S3コンソールで、対象のバケットに移動し、バケットプロパティでそのリージョンを確認します。
2. プラグイン設定内のAWS S3 Bucket Region Nameを実際のバケットリージョンに合わせて更新し、設定を保存します。

既知の動作

• 使う AWS IAM Roles Anywhere 認証方法の場合、 Cloud Exchange で設定されたプロキシ設定は IAM Roles Anywhere クレデンシャルのリクエストに転送されません。 このプラグインはrolesanywhere.{region}.amazonaws.comへの直接接続を試みます。使う IAM Roles Anywhere プロキシの背後にある場合、このエンドポイントへの直接接続が可能であることを確認しましょう。
• Cloud Exchange SSL Validationの設定はDatabricksのAPI呼び出しにのみ適用されます。IAM ロール Anywhere クレデンシャル リクエストと AWS S3 (boto3) 呼び出しは常にライブラリのデフォルト SSL 検証を使用し、 Cloud Exchange SSL 検証設定の影響を受けません。