Flux de logs vers Splunk

Netskope Log Streaming prend en charge l'envoi de fichiers journaux à Splunk Add-on for AWS. Ce document vous aidera à obtenir les données du seau AWS vers Splunk. Pour obtenir les données d'AWS vers Splunk, il existe un module complémentaire Splunk pour Amazon Web Services (AWS).

Considérations relatives au dimensionnement, aux performances et aux coûts du module complémentaire Splunk pour AWS :

https://splunk.github.io/splunk-add-on-for-amazon-web-services/SizingAndCost

À un niveau élevé, les étapes nécessaires pour maintenir la continuité des données et la fonctionnalité du tableau de bord sont les suivantes :

1. Installez le module complémentaire Netskope pour Splunk (s'il n'est pas déjà présent).
2. Mettez à jour le module complémentaire Netskope avec la dernière version (au minimum v4.4.0).
3. Configurez l'entrée du module complémentaire AWS en utilisant le type de source approprié comme indiqué ci-dessous.
4. Pensez à mettre à jour la strophe de type de source dans le cas d'un autre type de source personnalisé.

Obtenir des données dans Splunk à l'aide du module complémentaire Splunk pour Amazon Web Services (AWS)

Une approche directe pour obtenir des données des buckets AWS S3 dans Splunk avec l'aide de Splunk Add-on pour Amazon Web Services (AWS). Dans cette approche, nous pouvons utiliser le connecteur AWS de Splunk et extraire les données des buckets S3.

Cette approche contient deux méthodes pour obtenir les données de S3 :

1. Obtenir des données en temps réel en utilisant l'entrée basée sur SQS (Recommandé)
2. Obtenir des données historiques à l'aide d'une entrée S3 générique

Vous devez installer l'ancien module complémentaire Netskope pour Splunk. Ceci est essentiel pour garantir que les types de sources et les correspondances Netskope nécessaires sont présents, permettant aux journaux extraits par l'AWS TA New d'être correctement analysés par l'AWS TA Netskope pour une indexation et des recherches réussies.

Obtenir des données en temps réel en utilisant l'entrée S3 basée sur SQS (Recommandé)

Les utilisateurs doivent configurer les entrées S3 basées sur SQS depuis Splunk Add-on for AWS pour collecter des données en temps réel. Pour plus d’informations sur les entrées S3 basées sur SQS, consultez la documentation officielle : https://splunk.github.io/splunk-add-on-for-amazon-web-services/SQS-basedS3/

Conditions préalables

Les utilisateurs d'AWS doivent disposer des autorisations suivantes :

1. Des autorisations sont requises pour l'accès à la SQS :
   • GetQueueUrl
   • ReceiveMessage
   • SendMessage
   • DeleteMessage
   • ChangeMessageVisibility
   • GetQueueAttributes
   • ListQueues
2. Autorisations requises pour les buckets et les objets S3 :
   • GetObject (si le Bucket Versioning est désactivé).
   • GetObjectVersion (si le Bucket Versioning est activé).
3. Autorisations requises pour KMS :
   • Decrypt

Pour plus d'informations, veuillez consulter la documentation officielle de l'extension Splunk pour AWS – Configurer les autorisations AWS pour l'entrée S3 basée sur SQS.

Créer une file d'attente SQS dans AWS

1. Dans le panneau de recherche, recherchez SQS (Simple Queue Service).
2. Créez une file d'attente SQS standard dans la même région que le seau S3, définissez Visibility Timeout sur 5 minutes ou plus, et activez Dead-letter queue.
   • La file d'attente des lettres mortes est utilisée comme entrée pour le stockage des messages non valides. Pour plus d'informations sur les files d'attente de lettres mortes SQS et sur leur configuration, consultez la rubrique Amazon SQS dead-letter queues dans la documentation AWS.

Créer un sujet SNS dans AWS

1. Dans le panneau de recherche, recherchez SNS (Simple Notification Service).
2. Créez un sujet SNS standard dans la même région que le seau S3.
3. Une fois créé, notez l'ARN du sujet SNS.
4. Modifiez la stratégie d'accès pour le sujet SNS et remplacez-la par l'exemple de stratégie ci-dessous, puis enregistrez :
   Saisissez votre ARN AWS SNS et votre ARN de compartiment S3 dans les espaces réservés ci-dessous. { “Version”: “2008-10-17”, “Id”: “example-ID”, “Statement”: [ { “Sid”: “example-statement-ID”, “Effect”: “Allow”, “Principal”: { “AWS”: “*” }, “Action”: “SNS:Publish”, “Resource”: “”, “Condition”: { “ArnLike”: { “aws:SourceArn”: “” } } } ] }
5. Cliquez sur Create subscription dans le sujet SNS et abonnez-vous aux services SQS, et sélectionnez spécifiquement la file d'attente SQS que nous avons créée dans les étapes précédentes.

Créer une notification d'événement à partir de S3

1. De S3 à votre panier > Properties.
2. Dans la section Event notifications , sélectionnez “Create event notification”.
3. Dans la section Event types , sélectionnez All object create events dans le menu déroulant. Object creation.
4. Sur le site Destination, , sélectionnez la rubrique SNS Topic.
5. Select la file d'attente SQS créée dans la liste déroulante.

Configuration du module complémentaire Splunk pour AWS

1. Installez le module complémentaire Splunk pour Amazon Web Services (AWS) sur l'instance Splunk depuis Splunkbase ou Splunk Web. Pour obtenir de l'aide supplémentaire, suivez la présentation de l'installation du module complémentaire Splunk pour AWS.
2. Après avoir configuré l'utilisateur IAM, configurez le compte dans le module complémentaire Splunk.
   1. Accédez à la page Configuration .
      
   2. In the Account tab, click Add.
      
   3. Ajoutez les informations requises telles que le nom, l'identifiant de la clé et la clé secrète.
   4. Cliquez sur Add.
3. Après avoir configuré le compte avec succès, créez une entrée New pour collecter les données depuis le seau S3.
   1. Go to the Inputs page.
      
   2. Cliquez sur Create New Input > Custom Data Type > pour sélectionner SQS-based S3.
   3. Ajoutez les informations requises dans tous les champs obligatoires. Pour le nom de la file d'attente SQS, sélectionnez la file d'attente SQS créée précédemment.
   4. Mettez à jour le type de source pertinent, par exemple : Netskope:web_transaction :nls pour les données de transactions Web Netskope . Consultez la section « Considérations relatives au type de source en fonction de la configuration d'entrée (analyser tous les fichiers au format CSV) ».
   5. Pour l'ingestion de données de transactions Web via NLS en utilisant le type de source Netskope:web_transaction:nls, il est recommandé de conserver le “Parse all files as CSV” option disabled (unchecked) dans les paramètres avancés lors de la configuration de l'entrée. Il est déconseillé d'activer cette option pour les données de transactions Web, car cela peut entraîner increased Splunk license consumption et introduire field parsing issues.
      
      Pour les types de journaux autres que les données de transactions Web, l'option “Parse all files as CSV” peut être activée pour ingérer les journaux au format JSON.
      
      Lorsque cette option est désactivée, les journaux sont ingérés au format CSV. Toutefois, une configuration supplémentaire pour l'extraction des champs CSV sera nécessaire en fonction du type de source sélectionné. Il est recommandé de valider la configuration décrite dans la section “Updating Field Extraction Configuration for a Sourcetype Using Splunk Web” afin de garantir une analyse correcte des journaux.
      
   6. Le "délimiteur de champ CSV" est requis lorsque l'adresse Parse all files as CSV est activée. Assurez-vous que ce champ de la section Paramètres avancés est configuré en fonction du délimiteur utilisé dans le fichier CSV source.
   7. Conservez tous les autres champs par défaut.
   8. Cliquez sur Add.

Sourcetype Consideration Based on the Input Configuration (Parse all files as CSV):

Lorsque “Parse all files as CSV” = True, voir le tableau ci-dessous :

Type de données	Sourcetype
Alertes	netskope:alert
Application	Netskope:application
Connexion (données de la page)	Netskope:connexion
Endpoint	netskope:endpoint
Incident	Netskope:incident
Réseau	netskope:network

Ici, les données seront au format JSON et, par conséquent, des extractions automatiques de champs auront lieu.

Lorsque “Parse all files as CSV” = False, voir le tableau ci-dessous :

Type de données	Sourcetype
Web Transaction	netskope:web_transaction:nls
Alertes	netskope:alerts:nls
Application	Netskope:application:nls
Connexion (données de la page)	Netskope:connection:nls
Endpoint	netskope:endpoint:nls
Incident	Netskope:incident:nls
Réseau	netskope:network:nls

Dashboard & Search Updates Required

• Les requêtes existantes pour tout tableau de bord/rapport Splunk doivent être mises à jour pour prendre en charge à la fois les types de sources hérités et New . Par exemple :
  
  sourcetype IN («Netskope:web_transaction », «Netskope:web_transaction :nls »)

• Il est recommandé de normaliser les requêtes en utilisant des caractères génériques lorsque cela est possible :
  
  sourcetype="Netskope:web_transaction*"

Performance Reference

https://splunk.github.io/splunk-add-on-for-amazon-web-services/S3PerformanceReference/#measured-performance-data

Obtenir des données historiques en utilisant l'entrée générique S3

Conditions préalables

1. Un compte AWS valide avec des permissions pour configurer les services AWS et créer des rôles et utilisateurs IAM. Pour plus d’aide, consultez les prérequis pour le compte AWS.
2. Les utilisateurs doivent posséder un rôle IAM associé à la stratégie s3admin . Pour des instructions détaillées, reportez-vous à la documentation : Gérer les comptes pour l’extension Splunk pour AWS.

Problèmes connus

• Notez que l'entrée S3 générique répertorie tous les objets du bac et examine la date de modification de chaque fichier à chaque fois qu'elle s'exécute pour extraire des données non collectées d'un bac S3. Lorsque le nombre d'objets dans un seau est important, ce processus peut prendre beaucoup de temps et avoir un faible rendement. Splunk recommande donc de configurer une entrée S3 basée sur SQS pour plus d'efficacité.
• Lors de l'utilisation de l'entrée générique S3, nous avons remarqué que, pour un certain nombre d'événements, l'analyse des champs et des valeurs n'est pas cohérente. Il s'agit d'un problème lié à l'analyseur syntaxique de l'entrée S3 générique (AWS TA - v8.1.0). Splunk en a été informé et l'équipe de Splunk Add-on travaille à la résolution de ce problème. Il est recommandé d'utiliser la méthode d'entrée S3 basée sur SQS.

Configuration du module complémentaire Splunk pour AWS

1. Installez le module complémentaire Splunk pour Amazon Web Services (AWS) sur l'instance Splunk depuis Splunkbase ou Splunk Web. Pour obtenir de l'aide supplémentaire, suivez la présentation de l'installation du module complémentaire Splunk pour AWS.
2. Avant de configurer un compte dans Splunk, les utilisateurs auront besoin d'un compte AWS et d'un rôle IAM avec le rôle s3admin. Suivez la documentation pour plus de détails : Gérer les comptes pour l’extension Splunk pour AWS.
3. Après avoir configuré le rôle IAM, configurez le compte dans le module complémentaire Splunk.
   1. Accédez à la page Configuration .
      
   2. Dans l’onglet Account , cliquez sur Add.
      
   3. Ajoutez les informations requises telles que le nom, l'identifiant de la clé et la clé secrète.
   4. Cliquez sur Add.
4. Après avoir configuré le compte avec succès, créez une entrée New pour collecter les données à partir de la base de données S3.
   1. Allez à la page Inputs .
      
   2. Cliquez sur Create New Input et sélectionnez Custom Data Type > Generic S3.
   3. Ajoutez les informations requises dans tous les champs requis. Pour le champ 'S3 Bucket' , sélectionnez le bucket qui contiendra les fichiers de Netskope. Pour la documentation pour plus de détails : Configurez les entrées Generic S3 pour l’extension Splunk pour AWS.
   4. Mettez à jour le type de source pertinent, par exemple : Netskope:web_transaction:nls pour les données Netskope Webtx. Reportez-vous à la section « Considérations relatives au type de source en fonction de la configuration d'entrée (analyser tous les fichiers au format CSV) » ci-dessous.
   5. Pour l'ingestion de données de transactions web via NLS en utilisant le type de source Netskope:web_transaction:nls, il est recommandé de conserver l'adresse “Parse all files as CSV” option disabled (unchecked) dans les paramètres avancés lors de la configuration de l'entrée. L'activation de cette option pour les données de transaction web n'est pas recommandée, car elle peut conduire à increased Splunk license consumption et peut également introduire des données de transaction web. field parsing issues.
      
      Pour les types de journaux autres que les données de transaction web, l'option “Parse all files as CSV” peut être activée pour ingérer les journaux au format JSON.
      
      Lorsque cette option est désactivée, les journaux sont importés au format CSV. Cependant, une configuration supplémentaire pour l'extraction des champs CSV sera nécessaire en fonction du type de source sélectionné. Il est recommandé de valider la configuration décrite dans la section “Updating Field Extraction Configuration for a Sourcetype Using Splunk Web” pour garantir une analyse correcte des journaux.

Sourcetype Consideration Based on the Input Configuration (Parse all files as CSV):

Lorsque “Parse all files as CSV” = True, voir le tableau ci-dessous :

Type de données	Sourcetype
Alertes	netskope:alert
Application	Netskope:application
Connexion (données de la page)	Netskope:connexion
Endpoint	netskope:endpoint
Incident	Netskope:incident
Réseau	netskope:network

Ici, les données seront au format JSON et, par conséquent, des extractions automatiques de champs auront lieu.

Lorsque “Parse all files as CSV” = False, voir le tableau ci-dessous :

Type de données	Sourcetype
Web Transaction	netskope:web_transaction:nls
Alertes	netskope:alerts:nls
Application	Netskope:application:nls
Connexion (données de la page)	Netskope:connection:nls
Endpoint	netskope:endpoint:nls
Incident	Netskope:incident:nls
Réseau	netskope:network:nls

Dashboard & Search Updates Required

• Les requêtes existantes pour tout tableau de bord/rapport Splunk doivent être mises à jour pour prendre en charge à la fois les types de sources hérités et New . Par exemple :
  
  sourcetype IN («Netskope:web_transaction », «Netskope:web_transaction :nls »)

• Il est recommandé de normaliser les requêtes en utilisant des caractères génériques lorsque cela est possible :
  
  sourcetype="Netskope:web_transaction*"

Netskope Log Streaming prend en charge l'envoi de fichiers journaux à Splunk Add-on for Microsoft Cloud Services (MSCS). Ce document vous aidera à obtenir les données du Azure Storage Blob vers Splunk. Pour obtenir les données d'Azure vers Splunk, il existe un module complémentaire Splunk pour Microsoft Cloud Services (MSCS).

À un niveau élevé, les étapes nécessaires pour maintenir la continuité des données et la fonctionnalité du tableau de bord sont les suivantes :

1. Installez le module complémentaire Netskope pour Splunk (s'il n'est pas déjà présent). Pour en savoir plus , cliquez ici.
2. Mettez à jour le module complémentaire Netskope avec la dernière version (au minimum v4.4.0).
3. Configurez l'entrée MSCS Add-on en utilisant le type de source standard Netskope:web_transaction:nls.
4. Pensez à mettre à jour la strophe de type de source dans le cas d'un autre type de source personnalisé.

Obtenir des données dans Splunk en utilisant le module complémentaire Splunk pour Microsoft Cloud Services (MSCS)

Cette approche permet l'ingestion directe des données des Azure Storage Blobs dans Splunk à l'aide du Splunk Add-on for Microsoft Cloud Services (MSCS). En s'appuyant sur le connecteur Azure de Splunk, les données peuvent être récupérées en toute sécurité à partir des Azure Storage Blobs et rendues disponibles pour l'analyse dans Splunk.

Mandatory RequirementVous devez mettre à jour l' extension Netskope pour Splunk ( ancienne version) vers la dernière version. Ceci est essentiel pour garantir la présence des types de sources et des mappages Netskope nécessaires, permettant ainsi aux journaux extraits par le New module d'assistance MSCS d'être correctement analysés par le module d'assistance Netskope pour une indexation et des recherches réussies.

Obtenir des données à l'aide d'Azure Storage Blob Input

Conditions préalables

1. Compte de stockage Azure. Veuillez consulter la section « Configurer un compte de stockage dans Microsoft Cloud Services » pour plus d'informations.
2. Les données peuvent être collectées à partir du Blob de stockage en utilisant la clé d’accès, le jeton de compte ou sans utiliser la clé ou le jeton d’accès.

Splunk Add-on pour la configuration de MSCS

1. Installez le module complémentaire Splunk pour les services cloud Microsoft sur l'instance Splunk depuis Splunkbase ou Splunk Web. Pour obtenir de l'aide supplémentaire, suivez les instructions d'installation du module complémentaire Splunk pour les services cloud Microsoft.
2. Créer un compte de stockage
   1. Va dans l’onglet > Azure Storage Account Configuration Page.
   2. Dans l'onglet Azure Storage Account , cliquez sur Ajouter.
      
   3. Ajoutez les informations requises telles que le nom, le nom du compte, le secret du compte, le type de secret du compte et le type de classe de compte.
   4. Cliquez sur Ajouter.
   5. Pour plus d'informations, suivez la section Se connecter à votre compte de stockage Azure avec le module complémentaire Splunk pour les services cloud Microsoft.
3. Après avoir configuré le compte de stockage avec succès, créez une entrée New pour collecter les données du Storage Blob.
   1. Allez à la page Inputs .
      
   2. Cliquez sur Create New Input > sélectionnez Azure Storage Blob.
   3. Ajoutez les informations requises dans tous les champs obligatoires.
   4. Dans le champ Nom du conteneur, entrez le nom du conteneur qui stocke les blobs contenant les fichiers Netskope.
   5. Dans le champ Liste des blobs, entrez une liste de noms de blobs séparés par des virgules qui contiennent les fichiers Netskope.
   6. Mettez à jour le type de source pertinent, par exemple : Netskope:web_transaction:nls pour les données Netskope Webtx. Reportez-vous à la section « Considérations relatives au type de source en fonction de la configuration d'entrée (analyser tous les fichiers au format CSV) » ci-dessous.
   7. Pour l'ingestion de données de transactions web via NLS en utilisant le type de source Netskope:web_transaction:nls, il est recommandé de conserver l'adresse “Parse all files as CSV” option disabled (unchecked) dans les paramètres avancés lors de la configuration de l'entrée. L'activation de cette option pour les données de transaction web n'est pas recommandée, car elle peut conduire à increased Splunk license consumption et peut également introduire des données de transaction web. field parsing issues.
      
      Pour les types de journaux autres que les données de transaction web, l'option “Parse all files as CSV” peut être activée pour ingérer les journaux au format JSON.
      
      Lorsque cette option est désactivée, les journaux sont importés au format CSV. Cependant, une configuration supplémentaire pour l'extraction des champs CSV sera nécessaire en fonction du type de source sélectionné. Il est recommandé de valider la configuration décrite dans la section “Updating Field Extraction Configuration for a Sourcetype Using Splunk Web” pour garantir une analyse correcte des journaux.
   8. For the CSV field delimiter parameter, specify the delimiter used in the Netskope data files.
   9. Consultez la documentation pour plus de détails : Configurez les entrées modulaires Azure Storage Blob pour l’extension Splunk pour Microsoft Cloud Services.
   10. Cliquez sur Add.

Sourcetype Consideration Based on the Input Configuration (Parse all files as CSV):

Lorsque “Parse all files as CSV” = True, voir le tableau ci-dessous :

Type de données	Sourcetype
Alertes	netskope:alert
Application	Netskope:application
Connexion (données de la page)	Netskope:connexion
Endpoint	netskope:endpoint
Incident	Netskope:incident
Réseau	netskope:network

Ici, les données seront au format JSON et, par conséquent, des extractions automatiques de champs auront lieu.

Lorsque “Parse all files as CSV” = False, voir le tableau ci-dessous :

Type de données	Sourcetype
Web Transaction	netskope:web_transaction:nls
Alertes	netskope:alerts:nls
Application	Netskope:application:nls
Connexion (données de la page)	Netskope:connection:nls
Endpoint	netskope:endpoint:nls
Incident	Netskope:incident:nls
Réseau	netskope:network:nls

Dashboard & Search Updates Required

• Les requêtes existantes pour tout tableau de bord/rapport Splunk doivent être mises à jour pour prendre en charge à la fois les types de sources hérités et New . Par exemple :
  
  sourcetype IN («Netskope:web_transaction », «Netskope:web_transaction :nls »)

• Il est recommandé de normaliser les requêtes en utilisant des caractères génériques lorsque cela est possible :
  
  sourcetype="Netskope:web_transaction*"