ウェブページ脅威交換用 IoC スクレイパー プラグイン

本ドキュメントでは、 Netskope Cloud Exchange プラットフォームのThreat ExchangeモジュールでWeb Page IoC Scraper v2.0.0プラグインを設定する方法を説明しています。 このプラグインは、公開されているあらゆるウェブサイトから、URL、ドメイン、IPv4、IPv6、MD5、SHA256といったタイプのIoC（侵害指標）を取得します。このプラグインは、IoC（侵害指標）の共有や、いかなるアクションの実行もサポートしていません。

このプラグインは以前は「外部ウェブサイト」という名前でしたが、 「WebページIoCスクレイパー」に名称変更されましたのでご注意ください。

前提条件

この設定を完了するには、以下が必要です。

• Netskopeテナント（または、例えば本番環境と開発／テスト環境など、複数のテナント）。
• Netskope Cloud Exchangeテナントには、テナントプラグインと脅威交換プラグインが既に設定済みです。
• Netskopeテナント上のファイルプロファイル。
• A URL List on your Netskope tenant.
• A Destination Profile on your Netskope tenant.
• Netskopeテナント上のプライベートアプリ。
• A DNS Profile on your Netskope Tenant
• プレーンテキスト、JSON、XML、またはHTML形式でIoCフィードを提供する、一般公開されているURL。
• ウェブページへの接続 IoC スクレイパー

ウェブページIoCスクレイパープラグインのサポート

このプラグインは、公開されているあらゆるウェブサイトから、URL、ドメイン、IPv4、IPv6、MD5、SHA256といったタイプのIoC（侵害指標）を取得します。このプラグインは、IoC（侵害指標）の共有や、いかなるアクションの実行もサポートしていません。

IoC撤回

このプラグインは、フィードを再取得して存在しなくなった指標を特定し、CEに脅威インテリジェンスストアからそれらを削除するよう指示することで、IoCの削除をサポートします。

HTTP/1.1 200 OK
Content-Type: text/plain

185.220.101.1
malware.example.com
44d88612fea8a8f36de82e1278abb02f

パフォーマンスマトリックス

以下は、これらの仕様を持つ大規模CEインスタンスで10万件のIoCを実行した後に実施したパフォーマンス測定結果です。

ユーザーエージェント

netskope-ce-6.1.0-cte-web-page-ioc-scraper-v2.0.0

ワークフロー

1. ウェブページのIoCスクレイパープラグインを設定してください。
2. ウェブページIoCスクレイパーのビジネスルールを設定しましょう。
3. ウェブページIoCスクレイパーの共有設定。
4. ウェブ Page インジデントの指標 Scraper プラグインを検証してください。

動画を見る

再生ボタンをクリックして動画をご覧ください。

Web ページ IoC スクレイパー プラグインを構成する

1. Cloud Exchange で、 Settings > Plugin Storeに移動します。Web Page IoC Scraper v2.0.0 (CTE)プラグインを検索して選択してください。

   

2. 基本情報を入力してください：

   • Configuration Name: プラグイン設定名。
   • Sync Intervalこのプラグインからデータを取得し、他のソースからこのプラグインにデータを共有する間隔。
   • Aging Criteria: 特定の時間が経過したら、インジケーターの有効期限を切れます。
   • Override Reputationこの設定から受信したインジケーターの評判を上書きする値を設定します。デフォルト設定のままにする場合は空欄のままにしてください。
   • Tags Aggregate Strategy: 既存のIoCに新しいタグを追加するか、上書きするかを選べます。この設定パラメータは、この設定用に取得されたインジケーターのタグの保存方法を決定します。
   • Enable SSL ValidationSSL証明書の検証を有効にします。

   

3. Next をクリックして、設定パラメータを入力してください。

   • Website URL: データを取得したい公開ウェブサイトのURLを追加してください。
   • Type of Threat data to pull: 取得すべき脅威データの種類。使用可能な値は、SHA256、MD5、URL、ドメイン、IPv4、IPv6です。
   • File Type: 想定される応答形式（プレーンテキスト、JSON、XML、HTML）。
   • Extract Domains from URL: ドメイン名のみを抽出するか、URL全体を使うかを選びましょう。例えば、URLがgoogle.com/abc/xyzの場合、 「はい」を選択するとgoogle.comが抽出されます。「No」を選択すると、完全なURLが表示されますgoogle.com/abc/xyz。この設定は、データから引き取る構成パラメータでインジケータータイプ URL を選択した場合のみ適用されます。

   

   注記

   • この設定は、Type of Threat データから引き取る設定パラメータでインジケータータイプの URL を選択した場合のみ適用されます。
   • 「URLからドメインを抽出する」パラメータは以下のシナリオで次のように動作します:(ここでは、取れるデータがURLタイプのみであることを前提としています)

   Only URL Selected.

   URLからドメインを抽出する	Fetched インジデントの指標 タイプ
   はい	抽出されたドメイン
   いいえ	URL (raw data)

   Only Domain Selected

   URLからドメインを抽出する	Fetched インジデントの指標 タイプ
   はい	抽出されたドメイン
   いいえ	抽出されたドメイン

   Both Selected

   URLからドメインを抽出する	Fetched インジデントの指標 タイプ
   はい	抽出されたドメイン
   いいえ	URL、抽出されたドメイン

4. Saveをクリックしてください。

   

ウェブページIoCスクレイパー用の脅威交換ビジネスルールを設定する

ウェブページのIoCスクレーパーから取得した指標を Cloud Exchangeに共有するには、共有したい指標をフィルタリングするビジネスルールが必要です。

1. Threat ExchangeでBusiness Rulesに移動し、 Create New Ruleをクリックします。
2. ルールに要件に応じてフィルターを追加し、 Saveをクリックします。

ウェブページIoCスクレイパーの脅威交換共有の設定

ウェブ ページ IoC スクレイパー プラグインからCloud Exchangeに IoC を共有するには:

1. Threat ExchangeでSharingに移動し、 Add Sharing Configurationをクリックします。

2. Select ソース設定(CTE ウェブページ IoC スクレイパー)、ビジネスルール、宛先設定(CTE Netskope)、そしてターゲットです。 

   

3. Saveをクリックしてください。

   

   注記

   • Web Page IoC ScraperプラグインとのIoC共有はサポートされていません。 ウェブページのIoCスクレイパーからNetskopeへIoCをプッシュしたり、IoCの撤廃ワークフローを見たい場合は、 Threat Exchangeプラグインガイドを参照してください。
   • プラグインはURL、Domain、IPv4、IPv6、MD5、SHA256のIoCを任意の公開ウェブサイトから取得できるため、Netskopeテナント上で「Add to File Hash list」「Add to Private App」「Add to Destination Profile」「Add to DNS Profile」を実行できます。

ウェブページIoCスクレイパープラグインを検証する

プルを検証する

プラグインからIoCを取得しているかどうかは、 Logging にアクセスしてCTE web Page IoC Scraperプラグインから取得ログを確認することで確認できます。

You can add a filter like message Like “CTE Web Page IOC Scraper”

プルされたデータは、Cloud Exchange のThreat Exchange > Threat IOCsで確認できます。プラグインから取得したIoC（侵害指標）を検索します。

プルリトラクションを検証する

撤回に関連するログはfilter: sources.sourceを使うことでフィルタリングできます 。例えば「[Retractction]」

You can validate the retracted IoCs on the Threat IoCs page:

注記

ウェブページIoCスクレイパーから取得したIoCが「はい」とマークされている場合、そのIoCがすでにNetskopeテナントやサードパーティプラットフォームに共有されていて、かつその宛先プラグインがプッシュリトラクションをサポートしている場合、Retraction Resultで<plugin-config-name>としてマークされます。

プッシュリトラクションを検証する

プッシュリトラクションはウェブページIoCスクレイパーにはサポートされていません。 IoCをウェブページのIoC Scraperから Netskopeにプッシュしたり、IoCの撤退ワークフローを見るには、 Threat Exchangeプラグインガイドを参照してください。

ウェブページIoCスクレイパーから取得したIoCは、Netskopeテナント上のDestination Profile CTE デモに共有されました。

共有のIoCのいずれかがCloud Exchangeで撤回とマークされている場合、Netskopeテナントからも削除され、その後撤回結果は 「CTE Netskope Threat Exchange: retracted」とマークされます。 

撤回スクリーンショットには、「撤回済み」とマークされたIoC（侵害指標）が表示されています。これらはNetskopeテナントのDestination Profileからも削除されました。

ウェブページインジデントの指標 Scraper プラグインのトラブルシューティング

プラグインからデータを取得できません

プラットフォームからIoCを引き出せない場合は、以下のいずれかの理由が考えられます:

• ウェブサイトのURLは公開されていません。
• 取得可能なIoC（侵害指標）が無効であるか、サポートされていません。

What to do: ウェブサイトのURLを確認してください。IoC（侵害指標）を取得するためには、一般に公開されている必要がある。もしそれがケースなら、取得可能なデータを確認してください。 プル用にサポートされるIoCは、SHA256、MD5、URL、ドメイン、IPv4、IPv6のいずれかのタイプで、有効なものである必要があります。

Cloud Exchange バージョン 5.0.1 未満でプラグインを更新した後、IPv4、IPv6、およびドメインタイプの IoC を取得できない

上記で述べたIoCタイプを取得できなくなった場合、CEバージョン5.0.1以降のプラグインで追加されたURLの分岐が原因である可能性があります。

What to do: CE バージョン 5.0.1 未満でプラグインを更新した場合は、プラグインを手動で編集し、「脅威の種類」データから IoC の種類を選択してドロップダウン リストから取得する必要があるかもしれません。以前は、このプラグインはIoCタイプとしてMD5、SHA256、URLのみをサポートしており、URL自体にはサブタイプが含まれていました。また、新しい IoC タイプ フィルターは新しいプラグイン バージョンに追加されたため、既存の構成済みプラグインでは選択されません。

URLタイプのIoCを取得できません 

URLタイプのIoCを取得できない場合、以下のいずれかの理由が考えられます。

• 提供されたウェブサイトには、利用可能なURLがありません。
• 「URLからドメインを抽出する」が「はい」に設定されており、ウェブサイトで利用可能なURLがドメインに抽出されます。

What to do:

1. 提供されたウェブサイトから取得できるURLが利用可能であることを確認してください。
2. 設定済みのプラグインで「URL からドメインを抽出する」が「はい」に設定されていることを確認してください。URL を取得したい場合は、 「いいえ」に設定できます。このようなシナリオの詳細は、 ウェブページ IoC Scraperプラグイン設定 セクションを参照してください。