完全一致データ用のLinuxファイル共有プラグイン

このドキュメントでは、Linuxファイル共有EDMプラグインv1.1.0の設定方法について説明します。Netskope Cloud Exchangeプラットフォームの Exact Data Match プラグインを使用します。 この統合により、LinuxサーバーからCSVファイルを取得し、定義されたプラグイン構成に従って完全一致データマッチ（EDM）ハッシュを生成します。

前提条件

設定を完了するには、以下が必要です。

• Netskopeテナント（または、例えば本番環境と開発／テスト環境など、複数のテナント）。
• Netskope Cloud Exchangeテナントには、 Tena ntプラグインとExact Data Matchプラグインが既に設定されています。
• CSVファイルを取得するために、SSHサービスが有効になっているLinuxサーバーが必要です。

Linuxファイル共有EDMプラグインのサポート

このプラグインは、SFTPプロトコルを介してLinuxサーバーからCSVファイルを取得し、定義されたプラグイン設定に従って完全一致データ（EDM）ハッシュを生成します。 このプラグインは、高度なデータサニタイズ、正規化、およびハッシュ生成機能をサポートしており、データの品質とセキュリティコンプライアンスを確保します。

Linuxサーバーの権限

必要な権限

プラグインの設定には、以下の権限が必要です。

• SSH ユーザーは、指定された CSV ファイルに対する読み取り権限を持っている必要があります。
• 設定されたポート（デフォルト：22）でLinuxサーバーへのネットワーク接続が必要です。
• Cloud Exchange上に、一時ファイル処理のための十分なディスク容量を確保してください。

import paramiko
ssh_client = paramiko.SSHClient()
ssh_client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh_client.connect(
    hostname=self.server_ip,
    port=self.port,
    username=self.username,
    password=self.password,
    timeout=30)

sftp_client = ssh_client.open_sftp()

sftp_client.get(
    remotepath=self.csv_file_path,
    localpath=local_file_path
)

try:
    file_stat = sftp_client.stat(self.csv_file_path)
    file_size = file_stat.st_size
    file_permissions = file_stat.st_mode
except FileNotFoundError:
    # Handle file not found error    pass

sftp_client.close()
ssh_client.close()

パフォーマンスマトリックス

以下は、以下の仕様を持つ大規模CEインスタンスで、約100万行（25列、各列は約50文字の文字列、サイズ1.3GB、平均列一意性：約96%、平均行一意性：約96%）のCSVファイルを取得およびサニタイズするために実施したパフォーマンス測定結果です。

ワークフロー

1. Linux サーバーのクレデンシャルとファイル パスを取得する
2. Linuxファイル共有EDMプラグインの設定
3. Linuxファイル共有EDMプラグインとテナント間の共有を設定する
4. Linuxファイル共有EDMプラグインを検証する

Watch a Video

再生ボタンをクリックして動画をご覧ください。

LinuxサーバーからSFTP共有ファイルパスを取得する

1. ほとんどのSFTP設定はSSH設定ファイルによって制御されます。

   sudo vi /etc/ssh/sshd_config

2. 次のような項目を探してください。

   Subsystem sftp internal-sftp

   そして特に：

   Match User <username>
       ChrootDirectory /path/to/sftp/root
       ForceCommand internal-sftp

3. ChrootDirectoryの値は、そのユーザーの SFTP ルート (共有パス) です。

4. ChrootDirectoryが設定されていない場合、SFTPは通常、ユーザーのホームディレクトリをデフォルトとして使用します。

   echo $HOME

   OR

   grep <username> /etc/passwd

5. Example output:

   testuser:x:1001:1001::/home/testuser:/bin/bash

6. ここで、 /home/testuserはSFTPでアクセス可能なパスです。

Linuxファイル共有EDMプラグインの設定

1. Cloud Exchange で、 Settings > Plugin Storeに移動します。

2. Linux File Share v1.1.0 (EDM)プラグインを検索して選択してください。

   

3. 基本情報を入力してください：

   • Configuration Name: 統合内容に適した名前を入力してください。
   ご指定いただいた設定名はNetskopeテナントと共有するハッシュファイルの名前として使用されます。 後でこの設定を削除して同じ名前で新しい設定を作成する場合、ハッシュファイルが既にNetskopeテナント内に存在している可能性があることに注意してください。このような場合、ハッシュファイルをテナントにプッシュしようとすると、同じ名前のファイルが既に存在するため、エラーが発生します。 この問題を回避するには、一意の名前を使用することを検討してください。
   • Sync Interval: 必要に応じて同期間隔を調整してください。（デフォルト：12時間）

   

4. Next をクリックして、設定パラメータを入力してください。

   • Server IP/Hostname: LinuxサーバーのIPアドレス/ホスト名。
   • Username: Linuxマシンのユーザー名。
   • Password: 指定されたユーザー名のパスワード。
   • Port: Linuxマシン上のSSHサービスに接続するためのポート番号。
   • CSV File Path: サーバーから取得するCSVファイルのパス。
   • Delimiter: 単一文字区切り文字 CSV/TXTファイル内（例： （コンマ、パイプ、セミコロン）。
   • Remove Quotes: CSVファイルでフィールドが二重引用符で囲まれている場合（特に値にカンマが含まれている場合）は、チェックマークを付けてください。引用符で囲まれたフィールドは、単一の列として解析されます。引用符の位置が不適切だと、行がスキップされる可能性があります。

   

   デフォルトでは、引用符は文字通りのテキストとして扱われます。CSVファイルで引用符を削除するトグルを有効にしてください。 カンマを含むフィールド（ "123 ABC Street, Suite 100"など）を囲むには、二重引用符を使用します。 これにより、そのフィールドが単一の列として扱われることが保証されます。このモードでは、厳密なCSVフォーマットが必須となることに注意してください。フィールドが引用符で始まる場合、閉じ引用符の後に続き、コンマの前にある文字（スペースを含む）（例： "Word" ,）があると、その行はスキップされます。

5. Next をクリックして、ハッシュ生成およびサニタイズパラメータを入力してください。

   • サニタイズおよびハッシュ生成操作に適したオプションSelect 。
     • Sanitization (Name Column): 「名前列」チェックボックスをオンにして、コンテンツをサニタイズしてください。（デフォルト：チェックなし）消毒処理では、以下の動作が行われます。
       • One character: セルに文字が1つしか含まれていない場合、そのセルは無効とみなされます。
       • Digits: 数字を含むセルは無効としてマークされます。
       • Stopwords: リストにあるストップワードに一致するセルは無効としてマークされます（これは、[ストップワードを削除] チェックボックスがオンになっている場合にのみ機能します）。
       • Non-alphanumeric characters: セルを検証するには、すべての特殊文字を削除してください。
     • ハッシュ生成は2つの部分に分かれています。
       • Normalization: ドロップダウンリストから値Select 、データ値を正規化してください。 （デフォルト：なし）
       • Create Dictionary: ドロップダウンから値Select 、選択したフィールドの一意の値の辞書を作成します。 NetskopeテナントのDLPルールで使用できます。 （デフォルト：なし）
   • Remove Stopwords: サニタイズ処理の一環として特定のストップワードを削除する場合は、チェックマークを付けてください。（デフォルト：チェックなし）変更内容を反映させるため、該当するフィールドの「名前」列にチェックが入っていることを確認してください。

   

   注記

   • 取得した結果を正規化するための正規化パラメータ。 例えば、123-45-6789や123 45 6789のような番号は、123456789として扱われます。数値の正規化では、ドット、ダッシュ、スペースなどの文字は無視されます。文字列の正規化では、文字の大文字・小文字の区別は無視されます。
   • 「辞書の作成」オプションは、必要な場合にのみ使用してください。この操作はリソースを大量に消費し、システムパフォーマンスに影響を与える可能性があります。 最適な効率性を得るために、このオプションを慎重に選択してください。

6. Nextをクリックしてください。Preview Good FileまたはPreview Bad Fileをクリックして、サニタイズサンプルの出力をプレビューしてください。

   

   プラグインをサニタイズ機能を有効にして使用している場合、追加処理が発生するためパフォーマンスが異なる場合があります。

7. Proceed without sanitization: 消毒処理を進めるには、このオプションのチェックを外してください。（デフォルト：チェック済み）

   このオプションのチェックを外すと、すべてのデータがハッシュ生成の対象となります。チェックを外すと、有効なファイルの内容のみがハッシュ生成の対象となります。

8. Saveをクリックしてください。「完全一致データ一致」＞「プラグイン」ページにリダイレクトされ、設定済みのプラグインを確認できます。

   

Linuxファイル共有用のEDM共有構成を設定する

共有構成は、生成された EDM ハッシュを宛先プラットフォームと共有するために使用されます。 EDMハッシュをNetskopeテナントと共有するには、共有設定を作成します。 次の手順で行います。

1. Exact Data Match > Sharingに移動してAdd Sharing Configurationをクリックしてください。

   

2. 共有パラメータを設定します。

   • Source Configuration設定済みのLinuxファイル共有EDMプラグインSelect 。
   • Destination ConfigurationEDMハッシュが共有される宛先Select 。
   • Target選択された宛先構成に応じて、値が自動的に設定されます。

   

3. Saveをクリックしてください。

Validate thLinuxファイル共有EDMプラグイン

Cloud Exchangeで検証する

Cloud Exchangeで設定済みのプラグインが正しくプルされたことを確認するには、 Settings > Loggingに移動してLinux File Share EDMプラグインのログを検索してください。

プラグインの動作は、Cloud Exchange のLoggingにあるログから確認できます。

EDM Linux File Share [Linux File Share Config]: Successfully connected to Linux server 192.168.1.100.

ステータス値は以下のとおりです。

• Scheduled共有が設定されており、プル操作とプッシュ操作が処理待ちのキューに入っていることを示します。
• Generating Hash: ハッシュ生成プロセスが停止したことを示します。 この段階には、データの取得 > 検証 > サニタイズ（有効な場合） > ハッシュの生成が含まれます。
• Uploading Hash: 宛先構成へのハッシュのアップロードが開始されたことを示します。
• Upload Completed: ハッシュが宛先構成にアップロードされたことを示します。
• Checking Apply Status: 宛先構成へのハッシュの適用状況を確認します。
• Apply In Progress: ハッシュ プロセスが開始され、宛先で進行中です。
• Completedハッシュファイルが宛先構成に正常にプッシュされたことを示します。
• Failed：アクションの最終結果の実行に失敗したことを示します。実行されるアクションは、ハッシュの生成、ハッシュのアップロード、適用状況の確認です。

共有EDMハッシュは、Cloud ExchangeのLoggingにあるログから確認できます。

Validate on the Netskope Tenant

Linuxファイル共有EDMプラグインのトラブルシューティング

Linuxファイル共有EDMプラグインの設定ができません

Linuxファイル共有EDMプラグインの設定ができない場合、以下のいずれかの理由が考えられます。

• 間違った SSH クレデンシャルが提供されました。
• ユーザーにはCSVファイルを開く権限がありません。
• ホスト名またはサーバーのIPアドレスが間違っています。
• Linuxサーバー上でSSHポートが無効化されているか、ブロックされています。
• Cloud ExchangeとLinuxサーバー間のネットワーク接続に問題が発生しています。

What to do:

1. SSH クレデンシャルが正しいことを確認します。 ssh username@server_ip -p port_number
2. Linuxサーバー上のファイル権限を確認してください。 ls -la /path/to/your/csv/file.csv
3. SSHサービスが実行されていることを確認してください。 sudo systemctl status ssh
4. ネットワーク接続を確認する： telnet server_ip port_number

CSVファイルが見つからないか、アクセスが拒否されました。

ファイルが見つからない、またはアクセスが拒否されたというエラーが表示された場合：

What to do:

1. CSVファイルのパスが正しいこと、およびファイルが存在することを確認してください。
2. SSH ユーザーがファイルに対する読む権限を持っていることを確認してください。
3. ファイルが他のプロセスによってロックされていないか確認してください。

ハッシュ生成が失敗するか、時間がかかりすぎる

ハッシュ生成が失敗した場合、またはパフォーマンスが低い場合：

What to do:

1. Cloud Exchangeの空きディスク容量を確認してください（CSVファイルサイズの少なくとも2倍の容量が必要です）。
2. CSVファイルのサイズを小さくするか、より小さなファイルに分割してください。
3. パフォーマンス向上のため、必要でない場合はサニタイズ機能を無効にしてください。
4. 処理中はシステムリソースを監視してください。

既知の行動

• サニタイズ処理は処理速度を約65%低下させる可能性があるが、データ品質を向上させる。
• 辞書の作成はリソースを大量に消費するため、 必要な場合にのみ行うべきです。
• このプラグインは処理中に一時ファイルを作成しますが、それらは自動的に削除されます。
• 非常に大きなファイルの場合、SSH接続のタイムアウトが発生する可能性があります。タイムアウト値を増やすことを検討してください。
• メモリ使用量はCSVファイルのサイズに比例します。大容量ファイルの処理中はシステムリソースを監視してください。

制限事項

• Netskopeの各テナントは、最大5つのステージングファイルを処理できるという制限があります。この上限に達すると、ハッシュの共有中に次のエラーが発生する可能性があります。

  EDM Netskope 完全一致データ [EDM Netskope] 終了コード 400 を受信しました。構成 Linux EDM の edm ハッシュを構成 EDM Netskope にアップロード中にエラーが発生しました。 

• このエラーを解決するには、ステージング環境から既存のファイルを削除する必要があります。