Ce document explique comment configurer le logiciel Datadog v1.1.0 avec le module Log Shipper de la plateforme Netskope Cloud Exchange. Ce plugin supporte l'ingestion d'alertes (DLP (Prévention des pertes de données), Malware, Policy, Compromised Credential, Malsite, Quarantaine, Remediation, Security Assessment, Watchlist, UBA, et CTEP), d'événements (Page, Application, Audit, Infrastructure, Network, Incident, et Endpoint), WebTx(via Netskope LogStreaming), et de logs (Debug, Information, Error, et Warning) dans la plateforme Datadog. Il prend en charge l'ingestion de journaux aux formats JSON et CEF.
Conditions préalables
Pour compléter cette configuration, vous avez besoin de :
- Un locataire Netskope (ou plusieurs, par exemple des instances de production et de développement/test).
- Un locataire Netskope Cloud Exchange avec le plugin Tenant et le plugin Log Shipper déjà configurés.
- Un locataire Netskope Cloud Exchange avec le plugin AWS Netskope Log Streaming ou Azure Netskope Log Streaming déjà configuré (pour tirer WebTx des plugins Netskope Log Streaming).
- Un locataire Netskope Cloud Exchange avec le plugin Syslog for CE déjà configuré (pour l'extraction des logs CE).
- Accès à la plateforme Datadog avec l'agent Datadog installé.
- Connectivité avec les hôtes suivants (n'importe lequel d'entre eux)
- https://app.datadoghq.com
- https://us3.datadoghq.com
- https://us5.datadoghq.com
- https://app.datadoghq.eu
- https://app.ddog-gov.com
- https://ap1.datadoghq.com
Support des plugins Datadog
Le plugin Datadog est utilisé pour ingérer tous les logs Alert, Events, CE et WebTx [via Netskope LogStreaming] au format CEF et JSON.
| Type de données | Support |
|---|---|
| Alertes | Oui. DLP (Prévention des pertes de données), Malware, Policy, Compromised Credentials, Malsite, Quarantaine, Remediation, Security Assessment, Watchlist, CTEP, UBA |
| Événement | Oui. Audit, Application, Infrastructure, Réseau, Incident, Page, Point final |
| WebTx | Oui (compressé) (via Netskope LogStreaming) |
| Journaux Syslog CE | Oui. Info, Erreur, Avertissement, Débogage |
Note
- CLS WebTX basé sur Google Pub Sub Lite est obsolète. Veuillez vous référer aux annonces EOL/EOS des produits Netskope - Netskope Knowledge Portal
- Pour ingérer les logs WebTX vers vos destinations de livraison de logs comme SIEM, SOAR, XDR, données Lake, utilisez le plugin AWS Netskope Log Streaming ou Azure Netskope Log Streaming.
Permissions
Permission de générer une clé API dans Datadog.
Détails de l'API
Liste des API utilisées
| Point final de l'API | Méthode | Cas d'utilisation |
|---|---|---|
| https://http-intake.logs.datadoghq.com/api/v2/logs | PUBLIER | Envoyer des logs à la plateforme Datadog |
Envoyer les journaux
API Endpoint: https://http-intake.logs.datadoghq.<Datadog site>/api/v2/logs
Method: PUBLIER
Headers:
| Clé | Value |
|---|---|
| Content-Type | application/json |
| Accept | application/json |
| Content-Encoding | gzip (uniquement pour les journaux WebTX [via Netskope LogStreaming]) |
| DD-API-KEY | <API Key><Clé API> |
| User-Agent | netskope-ce-5.1.0-cls-datadog-v1.1.0 |
Parameters:
| Clé | Value |
|---|---|
| ddsource | netskope-ce |
| ddtags | netskopelogs,alertes |
Request Body:
[{'message': '{"cci": 43, "timestamp": 1708515322000, "ccl": "poor", “ce_tenant_name”: “Plugins”}'}]
Sample API Response:
202 Accepted
Matrice de performance
Cette analyse des performances a été réalisée sur un CE à grande pile avec ces spécifications de VM. Ces relevés sont notés en tenant compte du fait qu'il ingère environ 10 000 événements en 10 secondes vers la plateforme Datadog.
| Description | Spécifications |
|---|---|
| Détails de la pile | Taille : Grande RAM : 32 Go CPU : 16 cœurs |
| Alertes/événements intégrés au SIEM | ~200K EPM |
Agent utilisateur
Le user-agent ajouté dans ce plugin est au format suivant
netskope-ce-<ce_version>-<module>-<plugin_name>-v<plugin_version>
Par exemple :
netskope-ce-5.1.0-cls-datadog-v1.1.0
Workflow
- Obtenez votre clé API Datadog.
- Configurez le plugin Datadog.
- Configurez une règle de gestion pour le plugin Datadog.
- Configurez le Log Delivery pour le plugin Datadog.
- Validez le plugin Datadog.
Cliquer sur « play » pour regarder une vidéo.
Obtenez votre clé API Datadog
- Connectez-vous à la machine sur laquelle l'agent Datadog est installé.
- Accédez au répertoire de votre agent Datadog en fonction de votre système d'exploitation (https://docs.datadoghq.com/agent/?tab=Linux)
- Ouvrez le fichier datadog.yaml.
- Change to logs_enabled: true.
- Selon votre système d'exploitation, vous devez redémarrer votre agent Datadog. (https://docs.datadoghq.com/agent/?tab=Linux)
- Connectez-vous à Datadog Platform.
- Survolez votre nom d'utilisateur dans le coin inférieur gauche.
- Cliquez sur Organization Settings.
- Sous Access cliquez API Keys.
- Cliquez sur la clé API, puis sur Copy pour la copier.
Configurer le plugin Datadog
- Go to Settings > Plugin Store. Search for and select the CLS Datadog v1.1.0 (CLS) plugin.
- Ajoutez un nom de configuration de plugin et assurez-vous que le fichier Datadog Default Mapping est sélectionné pour le mappage.
- Désactivez le bouton de basculement pour transformer les journaux si vous souhaitez ingérer les données au format JSON ; laissez-le activé si vous souhaitez ingérer les données au format CEF.
- Cliquez sur Next et entrez ces paramètres :
- Site Datadog : Le site associé à votre compte Datadog. Par exemple : datadoghq.com.
- Clé API : Une clé API est requise par l’Agent Datadog pour soumettre des métriques et des événements à Datadog. Fournir la clé API Datadog obtenue précédemment (de Organization Settings > Access > API Keys sur la plateforme Datadog.
- Tags Datadog : Tags associés à vos logs. Pour ajouter plusieurs balises, indiquez-les sous forme de valeurs séparées par des virgules. Par exemple : env:prod,region:us-east-1.
- Cliquez sur Save. Le plugin New sera visible sur la page Log Shipper > Plugins.
Configurer une règle de gestion de l'expéditeur de logs pour Datadog
- Allez sur Log Shipper > Business Rules.
- Par défaut, une règle de gestion filtre toutes les alertes et tous les événements.
- Si vous souhaitez filtrer un type d'alerte ou d'événement spécifique, cliquez sur Create New Rule et configurez une New règle métier en ajoutant le nom de la règle et le filtre.
- Cliquez sur Save.
Configurer la livraison des logs de Log Shipper pour Datadog
- Allez à Log Shipper > Log Delivery et cliquez sur Add Log Delivery Configuration.
- Pour les alertes et événements, sélectionnez le plugin Source (Netskope CLS), le plugin Destination (Datadog), une règle métier, puis cliquez sur Save.
- Pour WebTX, sélectionnez le plugin Source (AWS Netskope Logstreaming ou Azure Netskope Logstreaming), le plugin Destination (CLS Datadog), une règle métier, puis cliquez sur Save.
- Pour le partage de logs, sélectionnez le plugin Source (Syslog for CE) et le plugin Destination (Datadog), une règle métier, puis cliquez sur Save.
- Une fois la configuration Log Delivery ajoutée, les données commenceront à être extraites du locataire Netskope, transformées et ingérées dans la plateforme Datadog.
Validez le plugin Datadog
Valider le retrait
Pour valider l'extraction d'événements, d'alertes, de journaux et de Webtx (via Netskope LogStreaming) à partir du locataire Netskope :
- Allez sur Logging dans Cloud Exchange et recherchez les journaux tirés.
Valider le push
Pour valider le plugin workflow:
Allez sur Logging et recherchez les événements ingérés, les alertes & WebTx (via Netskope LogStreaming) avec le message de filtrage contenant les événements ingérés. Les journaux ingérés seront filtrés.
Pour valider le push sur Datadog, suivez les étapes suivantes :
- Connectez-vous à la plateforme Datadog.
- Cliquez sur Logs. Vous avez la possibilité d'appliquer des filtres basés sur votre hôte en utilisant le nom de votre locataire.
Dépannage du plugin Datadog
Impossible de voir les données JSON sur Datadog dans le cycle historique
Note: Les données au format JSON envoyées à Datadog n'apparaîtront pas sur la plateforme si elles datent de plus de 18 heures.
Les logs dans Cloud Exchange pour les données historiques au format JSON indiqueront Ingested sans aucune erreur.
What to do: Editez le plugin et changez le format JSON en format CEF en activant l'option de transformation des logs, afin de partager les données historiques.