Plugin IoC Scraper de page web pour Threat Exchange

Ce document explique comment configurer le plugin Web Page IoC Scraper v2.0.0 avec le module Threat Exchange de la plateforme Netskope Cloud Exchange. Ce plugin extrait des IoC de type URL, Domaine, IPv4, IPv6, MD5 et SHA256 depuis n’importe quel site public. Ce plugin ne supporte pas le partage d’IoC ni l’exécution d’actions.

Notez que ce plugin s'appelait auparavant External Website; il a été renommé Web Page IoC Scraper.

Conditions préalables

Pour compléter cette configuration, vous avez besoin de :

• Un locataire Netskope (ou plusieurs, par exemple des instances de production et de développement/test).
• Un locataire Netskope Cloud Exchange avec le plugin Tenant et le plugin Threat Exchange déjà configurés.
• Un profil de fichier sur votre locataire Netskope.
• A URL List on your Netskope tenant.
• A Destination Profile on your Netskope tenant.
• A Private App on your Netskope tenant.
• A DNS Profile on your Netskope Tenant
• Une URL accessible publiquement servant un flux IoC en texte brut, JSON, XML ou HTML.
• Connectivité à votre page Web IoC Scraper

Support du plugin Web Page IoC Scraper

Ce plugin extrait des IoC de type URL, Domaine, IPv4, IPv6, MD5 et SHA256 depuis n’importe quel site public. Ce plugin ne supporte pas le partage d’IoC ni l’exécution d’actions.

Retrait de l'IoC

Le plugin prend en charge la rétractation IoC en récupérant le flux et en identifiant les indicateurs disparus, signalant ainsi à CE de les retirer de sa réserve de renseignement sur les menaces.

HTTP/1.1 200 OK
Content-Type: text/plain

185.220.101.1
malware.example.com
44d88612fea8a8f36de82e1278abb02f

Matrice de performance

Voici la lecture de performance effectuée après avoir extrait 100 000 IoC sur une instance de grand CE avec ces spécifications.

Agent utilisateur

netskope-ce-6.1.0-cte-web-page-ioc-scraper-v2.0.0

Workflow

1. Configurez le plugin IoC Scraper de la page web.
2. Configurez une règle métier pour le scraper IoC de pages web.
3. Configurez le partage pour le scraper IoC de pages web.
4. Validez le plugin Web Page IOC Scraper.

Regardez une vidéo

Cliquer sur « play » pour regarder une vidéo.

Configurer le plugin Web Page IoC Scraper

1. Dans Cloud Exchange, allez sur Settings > Plugin Store. Recherchez et sélectionnez le plugin Web Page IoC Scraper v2.0.0 (CTE).

   

2. Saisissez les informations de base :

   • Configuration Name: Nom de la configuration du plugin.
   • Sync Interval: Intervalle pour récupérer des données de ce plugin et partager des données avec ce plugin à partir d'autres sources.
   • Aging Criteria: Indicateurs de péremption après une période précise.
   • Override Reputation: Définissez la valeur pour ignorer la réputation des indicateurs reçus de cette configuration. Laissez vide pour conserver la valeur par défaut.
   • Tags Aggregate Strategy: Choisissez d’ajouter New balises aux IoC existants ou de les écraser. Ces paramètres de configuration déterminent comment les balises sont stockées pour les indicateurs tirés pour cette configuration.
   • Enable SSL Validation: Activer la vérification du certificat SSL.

   

3. Click Next and enter the Configuration Parameters:

   • Website URL: Ajoutez l’URL du site public à partir de l’endroit où vous souhaitez extraire les données.
   • Type of Threat data to pull: Type de données de menace à extraire. Les valeurs autorisées sont SHA256, MD5, URL, Domaine, IPv4, IPv6.
   • File Type: Format de réponse attendu (texte brut, JSON, XML, HTML).
   • Extract Domains from URL: Choisissez d’extraire uniquement le nom de domaine ou d’utiliser l’URL entière. Par exemple, si l’URL est google.com/abc/xyz, en sélectionnant Oui , on extrait google.com, tout en sélectionnant Non , l’URL complète google.com/abc/xyz. Notez que ce paramètre ne s’applique que lorsque l’URL de type indicateur est sélectionnée dans le paramètre de configuration Type de menace données to Pull.

   

   Note

   • Ce paramètre ne s’applique que lorsque l’URL de type indicateur est sélectionnée dans le paramètre de configuration Type of Threat données to Pull.
   • Le paramètre Extract Domains from URL fonctionnera comme suit dans les scénarios suivants : (Ici, on suppose que seul le type de données URL est disponible à récupérer)

   Only URL Selected.

   Extraire les domaines à partir de l’URL	Type IOC Récupéré
   Oui	domaine extrait
   Non	URL (raw data)

   Only Domain Selected

   Extraire les domaines à partir de l’URL	Type IOC Récupéré
   Oui	domaine extrait
   Non	domaine extrait

   Both Selected

   Extraire les domaines à partir de l’URL	Type IOC Récupéré
   Oui	domaine extrait
   Non	URL, domaine extrait

4. Cliquez sur Save.

   

Configurez une règle métier d’échange de menaces pour le scraper IoC de page web

Pour partager des indicateurs récupérés depuis le Web Page IoC Scraper vers Cloud Exchange, vous avez besoin d’une règle métier qui filtre les indicateurs que vous souhaitez partager.

1. Dans Threat Exchange, allez à Business Rules et cliquez sur Create New Rule.
2. Ajoutez le filtre selon vos exigences dans la règle, puis cliquez sur Save.

Configurer le partage de l’échange de menaces pour l’extracteur IoC de pages web

Pour partager les IoC du plugin Web Page IoC Scraper avec Cloud Exchange :

1. Dans Threat Exchange, allez à Sharing et cliquez sur Add Sharing Configuration.

2. Select votre configuration source (CTE Web Page IoC, scraper), règle métier, configuration de destination (CTE Netskope), et une cible. 

   

3. Cliquez sur Save.

   

   Note

   • Le partage des IoC avec le plugin IoC Scraper de la page web n’est pas pris en charge. Pour pousser les IoC depuis le Web Page IoC Scraper vers Netskope, ou pour voir la rétractation IoC workflow, consultez le guide du plugin Threat Exchange.
   • Parce que le plugin peut extraire des IoC de type URL, Domaine, IPv4, IPv6, MD5 et SHA256 depuis n’importe quel site public, nous pouvons effectuer Ajouter à une liste d’URL, Ajouter à une liste de hachages de fichier, Ajouter à une application privée, Ajouter au profil de destination et Ajouter au profil DNS sur le locataire Netskope.

Valider le plugin IoC Scraper de la page Web

Valider le retrait

Vous pouvez vérifier l’extraction des IoC depuis le plugin en allant sur Logging et en vérifiant les journaux extraits du plugin IoC Scraper de la page web CTE.

You can add a filter like message Like “CTE Web Page IOC Scraper”

Vous pouvez vérifier les données extraites stockées dans Cloud Exchange à l'adresse Threat Exchange > Threat IOCs. Recherchez les IoCs tirés du plugin.

Validez la rétractation de la traction

Vous pouvez filtrer les journaux liés à la rétraction en utilisant le filtre : sources.source Comme « [Rétraction] »

You can validate the retracted IoCs on the Threat IoCs page:

Note

Lorsque les IoC extraits de Web Page IoC Scraper sont marqués comme rétractés oui, alors ils seront marqués comme <plugin-config-name>: rétractés dans le résultat de rétraction si cet IoC a déjà été partagé avec le locataire Netskope ou une plateforme tierce, et que ce plugin de destination prend en charge la rétraction push.

Valider la rétractation de la poussée

La rétraction par poussée n’est pas prise en charge pour Web Page IoC Scraper. Pour pousser les IoC de Web Page IoC Scraper vers Netskope, ou pour voir la rétractation IoC workflow, consultez le guide du plugin Threat Exchange.

Les IoC extraits de Web Page IoC Scraper ont été partagés sur une démo CTE de profil de destination sur le locataire Netskope.

Si l’un des IoC partagés est marqué comme rétracté dans Cloud Exchange, il sera également supprimé du locataire Netskope, puis le résultat de la rétractation sera marqué comme « CTE Netskope Threat Exchange : rétracté ». 

Vous pouvez voir les IoC marqués Rétracté Oui dans la capture d’écran de rétractation. Celles-ci ont également été supprimées du profil de destination sur le locataire Netskope.

Dépannage du plugin de scraper IOC de la page web

Impossible d'extraire des données du plugin

Si vous ne pouvez pas extraire les IoC de la plateforme, cela pourrait être dû à l’une des raisons suivantes :

• L'URL du site n'est pas publique.
• Les IoC disponibles sont invalides ou ne sont pas pris en charge.

What to do: Vérifiez l’URL du site web. Il devrait être accessible au public pour pouvoir obtenir des IoC. Si c’est le cas, vérifiez les données disponibles pour extraire. Les IoC supportés pour le pull doivent être de type SHA256, MD5, URL, Domaine, IPv4, IPv6, et valides.

Impossible d'extraire les IoCs de type IPv4, IPv6 et Domaines après la mise à jour du plugin sur les versions de Cloud Exchange inférieures à 5.0.1

Si vous n'êtes plus en mesure d'extraire les types IoC mentionnés ci-dessus, cela peut être dû à la bifurcation d'URL ajoutée dans le plugin à partir de la version 5.0.1 de CE.

What to do: Si vous avez mis à jour votre plugin sur des versions CE inférieures à 5.0.1, il se peut que vous deviez modifier manuellement le plugin et sélectionner les types de données de référence IPv4, IPv6 et Domaine dans la liste déroulante Type de données de menace à extraire. Auparavant, le plugin ne prenait en charge que les types IoC MD5, SHA256 et URL, l'URL elle-même comprenant les sous-types. Et New Les filtres de type IoC ont été ajoutés dans la version du plugin New, de sorte qu'ils ne seraient pas sélectionnés dans le plugin configuré existant.

Impossible d'extraire des IoC de type URL 

Si vous ne pouvez pas obtenir des IoC de type URL, cela peut être dû à l’une des raisons suivantes :

• Il n'y a pas d'URL disponible sur le site web fourni.
• Extraire les domaines de l’URL est défini sur Oui et les URL disponibles sur le site sont extraites en domaines.

What to do:

1. Vérifiez que vous disposez des URL à récupérer sur le site web fourni.
2. Vérifiez que le plugin configuré a Extract Domains from URL défini sur Oui, et si vous voulez récupérer des URL, vous pouvez le définir sur Non. Pour d’autres scénarios de ce type, consultez la section de configuration du plugin IoC Scraper de la page web .