Plugin Microsoft Azure Event Hubs pour Log Shipper

Ce document explique comment configurer le plugin Microsoft Azure Event Hubs v2.0.0 avec le module Log Shipper de la plateforme Netskope Cloud Exchange. Ce plugin prend en charge l'ingestion des alertes (DLP (Prévention des pertes de données), Malware, Policy, Compromised Credential, Malsite, Quarantine, Remediation, Security Assessment, Watchlist, UBA, CTEP, périphérique, Content), des événements (Page, Application, Audit, Infrastructure, Network, Incident, Endpoint, Client Status) et des données WebTx [via Netskope LogStreaming]. Les données seront envoyées aux Microsoft Azure Event Hubs. Ce plugin prend en charge l'ingestion au format CEF et JSON.

Conditions préalables

Pour compléter cette configuration, vous avez besoin de :

• Un locataire Netskope (ou plusieurs, par exemple des instances de production et de développement/test).
• Un locataire Netskope Cloud Exchange avec le plugin Tenant et le plugin Log Shipper déjà configurés.
• Un locataire Netskope Cloud Exchange avec le plugin AWS Netskope Log Streaming ou Azure Netskope Log Streaming déjà configuré.
• Abonnement de niveau standard qui comprend le service Event Hubs.
• Pour plus d’informations sur le service Event Hubs, cliquez ici.
• Pour plus d'informations sur Azure Event Hubs pour Apache Kafka, cliquez ici.
• Connexion à l'hôte suivant : https://portal.azure.com/.

Prise en charge du plugin Microsoft Azure Event Hubs

Ce plugin prend en charge l'ingestion des alertes (identifiants compromis, stratégies, sites malveillants, logiciels malveillants, DLP (prévention des pertes de données), évaluations de sécurité, listes de surveillance, quarantaine, remédiation, UBA, CTEP, périphériques, contenu), des événements (pages, applications, audits, infrastructures, réseaux, incidents, terminaux, état des clients) Netskope des données WebTx (via Netskope Log Streaming). Ces données sont envoyées à Microsoft Azure Event Hubs. Ce plugin prend en charge l'ingestion aux formats CEF et JSON.

Permissions 

Lors de l'ajout d'une politique SAS, assurez-vous que les permissions mentionnées ci-dessous sont cochées :

• Envoyer 
• Listen

bootstrap.servers=NAMESPACENAME.servicebus.windows.net:9093
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="{YOUR.EVENTHUBS.CONNECTION.STRING}";

consumer = KafkaConsumer(
                event_hub_name,
                bootstrap_servers=bootstrap_server,
                security_protocol=”SASL_SSL,
                sasl_mechanism="PLAIN",
                sasl_plain_username="$ConnectionString",
                sasl_plain_password=connection_string,
                request_timeout_ms=TIMEOUT_MS,
                reconnect_backoff_ms=TIMEOUT_MS,
                client_id=self._add_user_agent(),
)

available_event_hubs = consumer.topics()

producer = KafkaProducer(
                bootstrap_servers=bootstrap_server,
                security_protocol=”SASL_SSL”,
                sasl_mechanism="PLAIN",
                sasl_plain_username="$ConnectionString",
                sasl_plain_password=connection_string,
                batch_size=BATCH_SIZE,
                acks=ACKS,
                retries=retries,
                linger_ms=LINGER_MS,
                request_timeout_ms=TIMEOUT_MS,
                reconnect_backoff_ms=TIMEOUT_MS,
                value_serializer=lambda x: x.encode("utf-8"),
                client_id=self._add_user_agent(),
            )

producer.send(
    topic=event_hub_name,
           value=(
                data
                     if not isinstance(data, dict)
                     else json.dumps(data)
                ),
        )

Matrice de performance

Cette analyse des performances a été réalisée sur une pile Cloud Exchange avec les spécifications de VM suivantes. Ces relevés proviennent de l'ingestion d'environ 2000k (2 millions) de logs dans Azure Event Hub dans un lot de 10k.

Agent utilisateur

netskope-ce-6.0.0-cls-microsoft-azure-event-hubs-v2.0.0

Workflow

1. Configurez Microsoft Azure Event Hubs.
2. Configurez le plugin Microsoft Azure Event Hubs.
3. Configurez une règle de gestion de l'expéditeur de journaux pour Microsoft Azure Event.
4. Configurer l'expéditeur de logs Livraison de logs pour Microsoft Azure Event.
5. Validez le plugin.

Regardez une vidéo

Cliquez sur "play" pour regarder une vidéo :

Créer un espace de noms pour Event Hub

1. Connectez-vous à la plateforme Microsoft Azure.

   

2. Cherche Event Hubs.

   

   

3. Cliquez sur Create pour créer un espace de nommage.

   

4. Fournissez tous les détails et cliquez sur Review + create. (Pour connaître le niveau de tarification, veuillez vous référer aux prérequis.)

Créer un hub d'événements dans l'espace de nommage

1. Allez dans l'espace de nommage récemment créé et cliquez sur + Event Hub pour créer un Hub d'événements New dans l'espace de nommage.

   

2. Saisissez toutes les informations requises et cliquez sur Review + create.

   

Générer une chaîne de connexion pour l'Event Hub

1. Pour la chaîne de connexion de l'espace de noms Event Hubs, accédez à Namespace > Settings > Shared access policies.

   

2. Cliquez sur Add pour créer une chaîne de connexion New. Saisissez un nom de politique et vérifiez ces autorisations :
   • Envoyer
   • Listen

   

3. Une fois la politique créée, cliquez sur la politique et copiez la chaîne de connexion primaire.

   

Configurer le plugin Microsoft Azure Event Hubs

1. Go to Settings > Plugin Store. Search for and select the Microsoft Azure Event Hubs v2.0.0 (CLS) plugin.

   

2. Saisissez le nom de la configuration du plugin et assurez-vous que le fichier Microsoft Azure Event Hubs Default Mapping est sélectionné. Si vous souhaitez partager les données au format JSON, définissez le paramètre Format sur JSON.

   

3. Cliquez sur Next, et entrez les paramètres de configuration :
   • Namesspace Name: Votre nom d’espace de noms Microsoft Azure Event Hubs.
   • Port: Votre port Microsoft Azure Event Hubs. Le port par défaut est 9093 pour la prise de main TLS des hubs d’événements, ou fournir le port personnalisé selon votre configuration.
   • Event Hubs Namespace Connection String: Chaîne de connexion à l'espace de noms Microsoft Azure Event Hubs. Comme : Endpoint=sb://.servicebus.windows.net/;SharedAccessKeyName=RootManageSharedAccessKey;SharedAccessKey=<clé_d_accès_partagée><namespace_name> <shared_access_key>. Pour obtenir la chaîne de connexion, allez à Microsoft Azure Event Hubs Namespace > Shared Access Policies > Primary connection string.
   • Event Hub Name: Votre nom Microsoft Azure Event Hub. 
   • Log Source Identifier: Cela sera ajouté comme préfixe à tous les journaux. (L'identifiant de la source du journal ne doit pas contenir d'espaces).
   • Exclure le champ d'horodatage : Select Yes pour ingérer les données sans le champ de l'horodatage. Cette option ne s'applique qu'aux données au format JSON.
   • Exclure le champ d'identification de la source du journal : Select Oui" pour ingérer les données sans le champ Log Source Identifier. Cette option ne s'applique qu'aux données au format JSON.
   • Producer Batch Size (in KB): Taille maximale (en Ko) d'un lot de messages que le producteur tentera d'envoyer à Event Hubs dans une seule requête. Des lots plus importants peuvent améliorer le débit, mais peuvent augmenter la consommation de mémoire. Plage autorisée : 16–1024 Ko.
   • Buffer Memory (in MB): Mémoire totale (en Mo) allouée à la mise en mémoire tampon des messages non envoyés. Si le tampon se remplit, d’autres requêtes d’envoi peuvent être bloquées ou échouer jusqu’à ce que de la place soit disponible. Augmenter cette valeur peut aider à gérer les pics de données de journalisation. Portée autorisée : 32–128 Mo.
   • Max Block Time (in seconds): Durée maximale (en secondes) pendant laquelle une opération d'envoi sera bloquée si la mémoire tampon est pleine avant de lever une exception. Cela évite le blocage indéfini et aide à contrôler la réactivité de l’application sous une forte charge. Portée autorisée : 10–60 secondes.
   • Batch Linger Time (in milliseconds): Temps (en millisecondes) où le producteur attendra des messages supplémentaires avant d’envoyer un lot si la taille du lot n’est pas atteinte. Des valeurs plus élevées peuvent augmenter l’efficacité du lotage mais peuvent ajouter de la latence. Portée autorisée : 50–1000 ms.
   • Data Chunk Size: Nombre de journaux à regrouper en un seul bloc de données avant l'envoi à Event Hubs. Ajustez ce paramètre pour contrôler la granularité de la transmission des données et optimiser les performances de votre charge de travail. Plage autorisée : 1000–10000.
   • Flush Timeout (in seconds): Durée maximale (en secondes) autorisée pour vider tous les enregistrements mis en mémoire tampon vers Event Hubs avant expiration du délai. Garantit que les données ne soient pas indéfiniment retardées dans la mémoire tampon lors des opérations d'arrêt ou de vidage manuel. Plage autorisée : 10 à 300 secondes.

   Note

   • Exclude Timestamp Field and Exclude Log Source Identifier Field are mandatory fields for JSON formatted data.
   • Si vous rencontrez des erreurs liées à l'allocation de mémoire, vous pouvez augmenter la mémoire tampon et réduire la taille des blocs en fonction de votre configuration Event Hubs.
   • Si vous rencontrez une erreur de dépassement de délai, les utilisateurs peuvent augmenter le délai de vidange et diminuer la taille du bloc en fonction de leur configuration Event Hubs.
   • Si l'ingestion prend beaucoup de temps, les utilisateurs doivent augmenter la configuration des concentrateurs d'événements.
   • Pour une grande pile, il est conseillé d'avoir 10 partitions ou plus et 20 unités de débit ou plus.
   • Pour une pile moyenne, il est conseillé d'avoir 7 partitions ou plus et 10 unités de débit ou plus.
   • Pour une petite pile, il est conseillé d'avoir 5 partitions ou plus et 5 unités de débit ou plus.

   

   

4. Cliquez sur Save. La configuration de votre plugin New sera disponible sur la page Log Shipper > Plugins.

Configurer une règle de gestion pour Microsoft Azure Event Hubs

1. Dans Log Shipper, allez à Business Rules.
2. Par défaut, une règle de gestion filtre toutes les alertes et tous les événements. Si vous souhaitez filtrer un type spécifique d'alerte ou d'événement, cliquez sur Create New Rule et configurez une règle de gestion New en ajoutant le nom de la règle et le(s) filtre(s).
3. Cliquez sur Save.

   

Configurer un expéditeur de logs Livraison de logs pour Microsoft Azure Event Hubs

1. Dans Log Shipper, allez dans le Log Delivery et cliquez sur Add Log Delivery Configuration.
2. Select le plugin source (AWS Log Streaming ou Azure Log Streaming), le plugin de destination (Microsoft Azure Event Hubs), une règle métier, puis cliquez sur Save.
3. Une fois la configuration Log Delivery ajoutée, les données commenceront à être extraites du locataire Netskope, transformées et ingérées dans la plateforme Microsoft Azure Event Hubs.

Validez le plugin Microsoft Azure Event Hubs

Valider le retrait

1. Dans Cloud Exchange, allez sur le site Logging et recherchez les journaux tirés.

   

   

   

   

Valider le push

Pour valider le plugin workflow dans Cloud Exchange:

Allez sur Logging et recherchez les événements et alertes ingérés. Le message du filtre contient ingéré. Les journaux ingérés seront filtrés.

Pour valider le push sur les Microsoft Azure Event Hubs :

1. Connectez-vous à Microsoft Azure Platform.
2. Aller à Event Hubs > {Namespace} > Data Explorer.
3. Select le Hub d'événements, l'ID de partition et la position de l'événement, puis cliquez sur View Events. En sélectionnant la position New, vous pouvez obtenir les événements en direct ingérés par le plugin. En sélectionnant la position la plus ancienne, vous pouvez obtenir les événements les plus anciens ingérés en fonction de la durée de conservation des messages. En sélectionnant Position personnalisée, vous pouvez trouver un ensemble d'événements à partir d'un filtre personnalisé.

   

   

   

   

   

   

   

   

   

   

   

   

   

   

   

   

   

   

   

   

   

   

Voici à quoi ressembleront les données si elles sont ingérées au format JSON :

Voici à quoi ressembleront les données si elles sont ingérées au format JSON sans les champs d'horodatage et d'identification de la source du journal :

Dépannage du plugin Microsoft Azure Event Hubs

Difficultés d'enregistrement du plugin Microsoft Azure Event Hubs

Bien que vous ayez saisi tous les paramètres et cliqué sur le bouton Enregistrer, une erreur peut se produire, peut-être parce que la configuration diffère des paramètres spécifiés.

What to do:

Cela peut être dû à des paramètres de configuration incorrects. Suivez les étapes de la section Configurer Microsoft Azure Event Hub.

Impossible de voir les événements sur les Microsoft Azure Event Hubs

Même après l'ingestion réussie des événements, il n'est pas possible de voir les événements ingérés à partir du plugin. Cela peut s'expliquer par les raisons suivantes :

• Vous avez sélectionné la mauvaise configuration pour voir les événements sur Event Hub.
• Aucun événement n'est ingéré pendant le temps d'attente des événements de la vue.
• Ou bien les données que vous recherchez se trouvent en dehors de la période de conservation.

What to do:

1. Vérifiez que vous avez sélectionné l'adresse Newest Position pour voir les événements ingérés en direct.
2. Vérifiez les journaux sur Cloud Exchange pour les événements ingérés.
3. Pour vérifier la période de rétention de l'Event Hub, allez sur la page Aperçu de l'espace de nommage, et sous cette page vous trouverez la rétention des messages. En outre, en modifiant le carrefour d'événements, vous pouvez changer la durée de conservation du carrefour d'événements. Reportez-vous à la section Créer un hub d'événements dans un espace de nommage.

Impossible d'activer le plugin après la mise à jour du plugin

Lorsque le plugin est ajouté pour ingérer les données formatées JSON et mis à jour, si vous utilisez le bouton Skip, vous rencontrerez une erreur pour les champs Exclude Timestamp Field et Exclude Log Source Identifier Field lors de l'activation de la configuration du plugin après la mise à jour du plugin :

Ce qu'il faut faire :

Les champs Exclude Timestamp et Exclude Log Source Identifier étant obligatoires pour les données au format JSON, vous devez sélectionner oui/non dans les deux champs en fonction de vos besoins.

Impossible de configurer le plugin/la file d'attente/désactiver le plugin

Si vous ne pouvez pas enregistrer le plugin/configurer la file d'attente/désactiver le plugin Microsoft Azure Event Hubs, cela peut être dû à un échec de la vérification du certificat SSL.

What to do:

Si vous exécutez Cloud Exchange sur votre périphérique sur site et que vous recevez l'erreur "[SSL : CERTIFICATE_VERIFY_FAILED] certificate verification failed : unable to get local issuer certificate", contactez l'équipe informatique de votre organisation. Ce problème peut être résolu en utilisant des plateformes en nuage telles que EC2 ou Azure.

Erreur de délai d'attente lors de l'ingestion de données vers Microsoft Azure Event Hubs

Les utilisateurs peuvent rencontrer l'erreur de dépassement de délai ci-dessous en raison du délai de vidage et de la taille de bloc définie dans la configuration du plugin.

What to do:

• Augmentez le délai de vidange et réduisez la taille des blocs en fonction de votre configuration Event Hubs.

Comportement connu du plugin Microsoft Azure Event Hubs

• Il se peut que les utilisateurs ne puissent pas ingérer les événements BWAN, les événements de type Statut du client, les alertes de type périphérique et le contenu, car ce plugin ne prend pas en charge l'ingestion des événements BWAN, des événements de type Statut du client, des alertes de type périphérique et du contenu.  
• Les utilisateurs peuvent rencontrer des caractères d'échappement dans les données ingérées en raison de plusieurs facteurs, tels que les caractères accentués (en anglais), les caractères d'autres langues que l'anglais, les espaces insécables, les caractères de nouvelle ligne et d'autres symboles de formatage spéciaux.
  Exemple :
  

  <14>Apr 07 09:32:56 alltypes CEF:0|Netskope|Mock Netskope Tenant|NULL|application|NULL|Unknown|act=Download appcategory=Cloud Storage applicationType=nspolicy browser=unknown \\u4ed5\\u4e8b cci=89 ccl=high device=Other dst=ef82::1a12:1234:1b12 os=unknown requestClientApplication=Box sourceServiceName=Box src=ef82::1a12:1234:1b12 suser=support@netskope.com timestamp=1743736484

  
  

  Voici deux caractères japonais qui ont été ingérés et qui ressemblent à "\u4ed5\u4e8b" dans le journal ci-dessus.

• Les utilisateurs peuvent observer des paramètres de configuration vides après la mise à jour du plugin.