Plugin Microsoft Azure Monitor pour Log Shipper

Ce document explique comment configurer le plugin Microsoft Azure Monitor v2.0.0 avec le module Log Shipper de la plateforme Netskope Cloud Exchange. Ce plugin prend en charge l'ingestion d'alertes (DLP (Prévention des pertes de données), Malware, Policy, Compromised Credential, Malsite, Quarantaine, Remediation, Security Assessment, Watchlist, UBA, CTEP, périphérique, Content), d'événements (Page, Application, Audit, Infrastructure, Network, Incident, Endpoint, Client Status). Les données seront intégrées dans la table Microsoft Azure Monitor Log Analytics Workspace. Ce plugin supporte l'ingestion au format CEF et JSON.

Conditions préalables

• Un locataire Netskope (ou plusieurs, par exemple des instances de production et de développement/test).
• Un locataire Netskope Cloud Exchange avec le plugin Tenant et le plugin Log Shipper déjà configurés.
• L'ID du locataire, l'ID du client et le secret du client de l'application Microsoft Azure.
• Un espace de travail analytique Microsoft Azure Log.
• Un point final de collecte de données Microsoft Azure Monitor.
• Une règle de collecte de données de Microsoft Azure Monitor.
• Connexion à l'hôte suivant : https://portal.azure.com/.

Prise en charge du plugin Microsoft Azure Monitor

Ce plugin prend en charge l'ingestion d'alertes (DLP (Prévention des pertes de données), Malware, Policy, Compromised Credential, Malsite, Quarantaine, Remediation, Security Assessment, Watchlist, UBA, CTEP, périphérique, Content), d'événements (Page, Application, Audit, Infrastructure, Network, Incident, Endpoint, Client Status). Les données seront intégrées dans la table Microsoft Azure Monitor Log Analytics Workspace. Ce plugin supporte l'ingestion au format CEF et JSON.

Permissions

Nécessite un compte Azure avec accès au moniteur.

{
    "client_id": "<client_id>",
    "client_secret": "<application_secret>",
    "scope": "https://monitor.azure.com/.default",
    "grant_type": "client_credentials",
}

{
    "token_type": "Bearer",
    "expires_in": 3599,
    "ext_expires_in": 3599,
    "access_token": "eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiIsIng1dCI6InNNMV95QXhWOEdWNHlOLUI2ajJ4em1pazVBbyIsImtpZCI6InNNMV95QXhWOEdWNHlOLUI2ajJ4em1pazVBbyJ9.eyJhdWQiOiJodHRwczovL21vbml0b3IuYXp1cmUuY29tIiwiaXNzIjoiaHR0cHM6Ly9zdHMud2luZG93cy5uZXQvZTA0MDU2MDYtNmMw…."
}

{
    "RawData": "ID=a39cdxxxx5caexx52fd47a6a cnt=1 device=qP7NPtp5bTHzxxxxdho_AA0B8A97-xxxx-xxxx-AF0E-xxxxxx deviceExternalId=xxxxxx-9798-B907-xxxx-6029DF2F6EB2 dvchost=VMware, Inc. hostname=XXXXX-GNO7JR8 managementId=null os=0 osVersion=10.0.19045 slat=0.0 slong=0.0 smac=xx:0C:29:xx:F7:A1 suid=xxxxPtp5bTHzcR69xxxx suser=abc@test.ai timestamp=0",
    "Application": "Netskope CE",
    "DataType": "<data_type>",
    "SubType": "<sub_type>",
    "TimeGenerated": "2025-05-05 17:56:57.823408"
}

204 No Content

Matrice de performance

Ces performances sont celles d'un Large Stack CE testé sur les spécifications de la VM ci-dessous. Les relevés ci-dessous sont ajoutés en tenant compte du fait qu'il ingère des fichiers d'une taille d'environ 10K en 2 secondes pour les événements et les alertes.

Agent utilisateur

netskope-ce-6.0.1-cls-microsoft-azure-monitor-v2.0.0

Workflow

1. Configurez un espace de travail pour l'analyse des logs.
2. Configurez une application et obtenez votre identifiant de locataire, votre identifiant d'application et votre secret de client.
3. Configurez un point final de collecte de données et obtenez votre URI DCE.
4. Configurez une table de base dans l'espace de travail Log Analytics et obtenez votre ID immuable de règle de collecte de données.
5. Attribuez une autorisation au DCR et au DCE.
6. Configurez le plugin Microsoft Azure Monitor.
7. Configurez une règle de gestion de l'expéditeur de journaux pour Microsoft Azure Monitor.
8. Configurez la livraison de logs de Log Shipper pour Microsoft Azure Monitor.
9. Validez le plugin Microsoft Azure Monitor.

Regardez une vidéo

Cliquer sur « play » pour regarder une vidéo.

Configurer un espace de travail Log Analytics

1. Connectez-vous à Azure et accédez à Log Analytics Workspace.

   

2. Cliquez sur Create Tab.
3. Select Abonnement, puis sélectionnez un groupe de ressources existant (ou créez-en un à l'adresse New ).
4. Saisissez un nom pour votre espace de travail Log Analytics, sélectionnez une région, puis cliquez sur Next > Next > Create.

   

Configurez une application et obtenez votre identifiant de locataire, votre identifiant d'application et votre secret de client.

1. Connectez-vous à Azure avec un compte ayant un rôle d'administrateur global.
2. Allez sur Azure App Registration > New Registration.

   

3. Dans le formulaire d'inscription, saisissez un nom pour votre application, puis cliquez sur Register.
4. Faites une copie de l'identifiant du locataire et de l'identifiant de la demande (client) sur la page de la demande.

   

5. Cliquez sur Add a Certificate or Secret puis sur New client secret pour générer un secret client. Ajoutez une description et une durée d'expiration, puis cliquez sur Add.
6. Copiez la valeur de Secret, car elle ne sera affichée qu'une seule fois.

   

Configurez un point final de collecte de données et obtenez votre URI DCE

1. Allez dans Azure Home et cliquez sur Monitor à partir des services Azure.
2. Cliquez sur Data Collection Endpoints dans le panneau de gauche, puis cliquez sur Create.

   

3. Saisissez un nom pour le point de terminaison de collecte de données, sélectionnez un groupe d’abonnement et de ressources, sélectionnez une région (assurez-vous que cette région correspond à celle de votre espace de travail d’analyse de logs), puis cliquez sur Review + create.

   

4. Dans l'onglet Vue d'ensemble, copiez l'ingestion de journaux qui sera l'URI DCE de votre point de terminaison de la collecte de données.

Configurez une table de base dans l'espace de travail Log Analytics et obtenez votre ID immuable de règle de collecte de données.

1. Un tableau d'analyse des journaux personnalisé nécessite le téléchargement d'un échantillon de données afin de créer un fichier JSON sur votre système avec le contenu suivant :

   [   
       {         
           "RawData": {},         
           "Application":  "",         
           "DataType": "", 
           "SubType": "", 
           "TimeGenerated": "2022-11-01 12:00:00.576165"     
       } 
   ]

2. Dans l’onglet d’accueil Azure, allez dans Log Analytics Workspace, sélectionnez l’espace de travail créé précédemment, sélectionnez Tables. Cliquez Create et sélectionnez New Custom log (DCR based).

   

3. Saisissez un nom pour la table.
4. Pour la règle de collecte des données, cliquez sur Create a new data collection rule, puis sélectionnez un abonnement et un groupe de ressources dans les listes déroulantes. Saisissez la région de votre espace de travail Log Analytics et cliquez sur Done. Veillez à conserver le plan de table comme base.

   

5. La règle de collection New données sera sélectionnée dans le champ de règle de collection données. Cliquez Next.
6. Dans l'onglet Schéma et transformation, cliquez sur Parcourir les fichiers et sélectionnez le fichier JSON des données échantillons que vous avez créé précédemment.

   

7. Cliquez sur Next puis cliquez sur Create.
8. A Custom Log Table will be created with the suffix _CL.

   

   Note

   Ici, nous changeons le plan de table d'Analytics à Basic parce que le plan de données de log Basic vous permet d'économiser sur le coût de l'ingestion et du stockage des logs verbose à haut volume dans votre espace de travail Log Analytics pour le débogage, le dépannage et l'audit.Si le plan de table n'est pas changé et conservé comme Analytics, les logs seront toujours ingérés dans la table sans aucun problème.La table Analytics a une période de rétention configurable de 30 jours à 730 jours. La table Basic a une rétention fixée à huit jours. Les tables Basic Logs conservent les données pendant huit jours. Lorsque vous modifiez le plan d'une table existante en journaux de base, Azure archive les données qui datent de plus de huit jours, mais qui sont encore dans la période de rétention originale de la table.

9. Pour obtenir l'identifiant immuable de la collection de données, allez dans Accueil, sélectionnez Monitor dans Azure Services > données Collection Rules, puis sélectionnez la DCR que vous avez créée lors de la création de la table personnalisée.

   

10. Dans l'onglet Vue d'ensemble, cliquez sur JSON View dans le coin supérieur droit et copiez l'identifiant immuable.

    

Attribuer une autorisation au DCR et au DCE

1. Sur la page d'accueil Azure, allez sur Monitor > Data Collection Endpoint et sélectionnez le point de terminaison créé précédemment.
2. Select Access control (IAM) et cliquez sur Add role assignment.

   

3. Dans la liste des rôles, sélectionnez Monitoring Metrics Publisher et cliquez sur Next.

   

4. Select un utilisateur, un groupe ou un service principal auquel attribuer un accès.
5. Cliquez sur Select Members et recherchez l'application que vous avez créée dans le champ de recherche, puis sélectionnez-la.

   

6. Cliquez sur Review + assign.
7. Répétez ces mêmes étapes pour attribuer des autorisations à la DCR (règle de collecte des données).

Configurer le plugin Microsoft Azure Monitor

1. Dans Cloud Exchange, accédez à Settings > Plugin Store.
2. Recherchez et sélectionnez le plugin Microsoft Azure Monitor v2.0.0 CLS).

   

3. Saisissez un nom de configuration et sélectionnez une correspondance valide. (Les mappages par défaut pour tous les plugins sont disponibles. Si vous souhaitez créer un New mapping, allez sur Settings > Log Shipper > Mappings).
4. L'option Transformer les données brutes est activée par défaut, ce qui permet de transformer les données brutes sur la base du fichier Mapping. Désactivez-la si vous souhaitez envoyer les données brutes directement à Azure Monitor.

   

5. Cliquez sur Next et entrez les paramètres de configuration :
   • Directory (tenant) ID: ID de répertoire (locataire) de votre application AzureAD.
   • Application (client) ID: ID de l'application (client) de votre application AzureAD.
   • Client Secret: Client Secret de votre application AzureAD.
   • DCE URI: URI du point de terminaison du collecteur de données.
   • DCR Immutable ID: Identification immuable de la règle de collecte de données.
   • Custom Log Table Name: Nom de table de journal personnalisé pour l’ingestion de données. Assurez-vous que la table existe dans votre espace de travail Log Analytics.
   • Log Source Identifier: Cette information sera ajoutée dans le champ Application du tableau de journalisation personnalisé. 

   

6. Cliquez sur Save.

   

Configurer une règle de gestion de l'expéditeur de journaux pour Microsoft Azure Monitor

1. Dans Log Shipper, allez à Business Rules et cliquez sur Create New Rule.
2. Par défaut, une règle de gestion filtre toutes les alertes et tous les événements. Si vous souhaitez filtrer un type spécifique d'alerte ou d'événement, cliquez sur Create New Rule et configurez une règle de gestion New en ajoutant le nom de la règle et le(s) filtre(s).
3. Saisissez un nom de dossier, le cas échéant.
4. Cliquez sur Save.

   

Configuration de l'expéditeur de logs Livraison de logs (SIEM Mappings) pour Azure Monitor

1. Dans Log Shipper, allez à Log Delivery et cliquez sur Add Log Delivery Configuration.
2. Select une configuration de la source, une configuration de la destination et une règle de gestion.

   

3. Cliquez sur Save.

   

Une fois le mappage SIEM ajouté, les données commenceront à être extraites du locataire Netskope et ingérées dans la plateforme Azure Monitor.

Validez le plugin Microsoft Azure Monitor

Valider le retrait

Pour valider l'extraction des indicateurs du locataire Netskope.
Allez sur Logging dans Cloud Exchange et recherchez les journaux tirés avec le filtre : message contain pulled.

Valider le push

Pour valider le plugin workflow dans Cloud Exchange:

Allez sur Logging et recherchez les événements ingérés avec le filtre : message contains ingested. Les journaux ingérés seront filtrés.

Pour valider dans l'espace de travail Log Analytics :

1. Dans le portail Azure, allez sur Log Analytics Workspace, sélectionnez l'espace de travail Log Analytics que vous avez créé, et sélectionnez Logs dans la catégorie General sur le panneau de gauche.
2. Saisissez le nom de la table d'enregistrement personnalisée dans l'éditeur de requêtes et cliquez sur Run. Vous pouvez sélectionner l'intervalle de temps en haut de la page pour filtrer les journaux.

   

   

Vous pouvez vérifier les événements/alertes en les développant :

Voici également les alertes/événements ingérés au format JSON :

Dépannage

Si vous recevez le code d'erreur 403 lors de la configuration du plugin dans toast et le message du journal

Assurez-vous que vous disposez des autorisations nécessaires pour votre demande au RCC. Vérifiez que vous avez attribué des autorisations au bon point final de collecte de données, comme décrit ci-dessus. Il peut s'écouler jusqu'à 30 minutes avant que les autorisations attribuées ne soient prises en compte.

Difficultés d'enregistrement du plugin Microsoft Azure Monitor

Bien que vous ayez saisi tous les paramètres et cliqué sur le bouton Enregistrer, une erreur peut se produire, peut-être parce que la configuration diffère des paramètres spécifiés.

What to do:

Cela peut être dû à des paramètres de configuration incorrects. Suivez les étapes de la section Configurer un espace de travail Log Analytics.

Impossible de voir les événements sur Microsoft Azure Monitor

Même après l'ingestion réussie des événements, il n'est pas possible de voir les événements ingérés à partir du plugin. Cela peut être dû à l'une des raisons suivantes :

• Requête incorrecte fournie dans la recherche de logs.
• Aucun événement n'est ingéré dans la plateforme.
• Ou bien les données que vous recherchez se situent en dehors de la période de recherche.

What to do:

1. Les événements de contrôle sont ingérés dans un intervalle de temps plus long.
2. Vérifiez que vous avez fourni la bonne requête dans le journal de recherche.
3. Vérifiez les journaux sur Cloud Exchange pour les événements ingérés.