Ce document explique comment configurer le plugin AWS SQS pour le module Log Shipper de la plateforme Netskope Cloud Exchange . Ce plugin prend en charge l'ingestion des données d'alertes (DLP (Prévention des pertes de données), Malware, Policy, Compromised Credential, Malsite, Quarantaine, Remediation, Security Assessment, Watchlist, CTEP, UBA) vers la plateforme AWS SQS. Pour accéder au plugin, vous aurez besoin des informations d'identification d'AWS. Note : Ce plugin supporte l'ingestion au format JSON sur la file d'attente AWS SQS.
Conditions préalables
Pour compléter cette configuration, vous avez besoin de :
- Un locataire Netskope (ou plusieurs, par exemple des instances de production et de développement/test).
- Un locataire Netskope Cloud Exchange avec le plugin Tenant et le plugin Log Shipper déjà configurés.
- Connectivité avec AWS SQS.
- Connectivité avec l'hôte suivant :https://<aws_region>.console.aws.amazon.com/. Par exemple : https://us-east-1.console.aws.amazon.com/
- Accès au service AWS SQS.
Support du plugin AWS SQS
Le plugin AWS SQS est utilisé pour ingérer les données des alertes Netskope dans la file d'attente AWS SQS. Ce plugin permet d'envoyer des données au format JSON à la file d'attente SQS.
| Types d'événements | Non pris en charge |
| Types d'alerte | Oui (DLP (Prévention des pertes de données), Malware, Policy, Compromised Credential, Malsite, Quarantaine, Remediation, Security Assessment, Watchlist, CTEP, UBA) |
| Types de journaux | Non pris en charge |
| Soutien WebTx | Non pris en charge |
Mises en correspondance
| Champ Netskope | AWS SQS Field |
|---|---|
| alert_name | Nom |
| alert_type | Type |
Permissions
Permissions Amazon SQS Queue à l'utilisateur IAM pour envoyer des données d'alertes à Queue. Suivez les étapes mentionnées dans la section Créer une politique de file d'attente SQS.
Détails de l'API
Liste des API utilisées
Ce plugin utilise des bibliothèques Python pour créer et ingérer des données dans AWS SQS.
Bibliothèque : Le SDK AWS pour Python (Boto3).
Utilisation : Le SDK AWS pour Python (Boto3) afin de créer, configurer et gérer des services AWS, tels qu’Amazon Simple Queue. Service (Amazon SQS), Amazon Elastic Compute Cloud (Amazon EC2) et Amazon Simple Storage Service (Amazon S3). Le SDK fournit une API orientée objet ainsi qu’un accès bas niveau aux services AWS.
Creating the SQS Client:
sqs_client= boto3.client(
"sqs",
aws_access_key_id=self.aws_public_key,
aws_secret_access_key=self.aws_private_key,
aws_session_token=self.aws_session_token,
region_name=self.region_name,
config=Config(proxies=self.proxy, user_agent=self.useragent),
)
Creating a Queue:
queue= sqs_client.create_queue(
QueueName=queue_name
)
Getting a Queue URL:
queue_url = sqs_client.get_queue_url(
QueueName=queue_name
)
Sending Messages in a Batch:
response = sqs_client.send_message_batch(
QueueUrl=queue_url, Entries=batches
)
Matrice de performance
Ces performances sont celles d'un Large Stack CE testé sur les spécifications de la VM ci-dessous. Les relevés ci-dessous sont ajoutés en tenant compte du fait qu'il ingère des fichiers d'une taille d'environ 10K en 21 secondes.
| Détails de la pile | Taille : LargeRAM : 32 GB
CPU : 16 cœurs |
| Evénements, alertes ingérés dans le SIEM d'une tierce partie | 200K EPM |
Agent utilisateur
netskope-ce-5.0.1-cls-aws_sqs-v1.0.0
Workflow
- Créez une file d'attente AWS SQS et une politique de file d'attente.
- Générez une clé privée, un corps de certificat, une phrase de mot de passe, un ARN de profil, un ARN de rôle, un ARN d'ancrage de confiance, si vous utilisez AWS IAM Role Anywhere pour l'authentification. Ou utilisez une autre configuration d'authentification AWS.
- Create a Queue.
- Configurez le plugin AWS SQS Alerts.
- Configurez une règle de gestion.
- Configurez un mappage SIEM.
- Validez le plugin.
Cliquez sur "play" pour regarder une vidéo :
Create AWS SQS Queue
Le nom de la file d'attente créé ici sera utilisé dans le paramètre Nom de la file d'attente lors de la configuration du plugin.
- Pour créer une file d'attente et définir les politiques requises, connectez-vous à la console AWS.
- Dans tous les services, recherchez et sélectionnez Simple Queue Service.
- Cliquez Create queue.
- Pour Type, sélectionnez Standard. Entrez un nom pour la file d’attente.
- Fournissez les informations de configuration en fonction de vos besoins.
- Activez le chiffrement côté serveur et sélectionnez Amazon SQS Key comme type de clé de chiffrement.
- Select la politique d'accès, la politique d'autorisation de Redrive, la file d'attente de la lettre morte et les étiquettes selon vos besoins. Cliquez sur Créer.
- La file d'attente est créée avec succès.
Créer une politique de file d'attente SQS
- Recherchez IAM, puis dans le panneau de gauche, cliquez sur Policies.
- Cliquez Create policy.
- Cliquez sur l’onglet JSON, et entrez la politique mentionnée ci-dessous. Cliquez Next: Tags puis Next: Review.
{ "Version": "2012-10-17", "Statement": [ { "Sid": "VisualEditor0", "Effect": "Allow", "Action": [ "sqs:GetQueueUrl", "sqs:SendMessage", "sqs:CreateQueue" ], "Resource": "arn:aws:sqs:*:XXXXXXXXXXX:*" }, { "Sid": "VisualEditor1", "Effect": "Allow", "Action": "sqs:ListQueues", "Resource": "*" } ] } - Saisissez un nom et cliquez sur Create Policy.
- Attachez cette politique à l’utilisateur. Va sur IAM > Users. Select l'utilisateur auquel vous souhaitez associer une stratégie, cliquez sur Add permissions, puis sur Ajouter des options d'autorisation.
- Select Attach policies directly sous Autorisations, puis recherchez et sélectionnez la stratégie créée à l'étape précédente pour la file d'attente source.
- Cliquez sur Next puis sur Add permissions. La politique sera associée à l'utilisateur.
Méthodes d'authentification des plugins
Authentification IAM Role Anywhere
Conditions préalables
Le service AWS Certificate Manager doit être activé pour authentifier le plugin à l'aide de la méthode d'authentification AWS IAM Roles Anywhere.
Veillez à créer l'autorité de certification privée, l'ancre de confiance et le profil dans la même région que celle où se trouve votre AWS S3 Source Bucket.
Créer une politique
Cette politique contient les autorisations requises pour créer un certificat d'autorité de certification privé (y compris les autorisations pour créer l'ancre de confiance et le profil) et pour utiliser les rôles IAM Anywhere.
- Allez sur Policy Generator et sélectionnez IAM Policy comme type de politique, entrez les détails de Add Statement, et générez une politique.
- Select Type de politique : Politique IAM
- Effet : Autoriser
- Service AWS : Autorité de certification privée AWS
- Actions :
- Créer une autorité de certification
- DescribeCertificateAuthority
- Obtenir un certificat
- Obtenir un certificat d'autorité
- Obtenir l'autorité de certification (GetCertificateAuthorityCsr)
- ImportCertificateAuthorityCertificate
- Délivrer un certificat
- Liste des autorités de certification
- ARN : *
- Cliquez sur Ajouter un relevé.
- Faites défiler l'écran vers le haut pour ajouter une autre déclaration.
- Select Type de politique : Politique IAM
- Effet : Autoriser
- Service AWS : Gestion des identités et des accès (IAM) d'AWS
- Actions :
- Politique de rattachement des rôles
- Créer une clé d'accès
- Créer un rôle
- Supprimer un rôle
- PassRole
- ARN : *
- Cliquez sur Ajouter un relevé.
- Faites défiler l'écran vers le haut pour ajouter une autre déclaration.
- Select Type de politique : Politique IAM
- Effet : Autoriser
- Service AWS : Gestionnaire de certificats AWS
- Actions :
- Décrire le certificat
- Certificat d'exportation
- Obtenir un certificat
- Liste des certificats
- ListTagsForCertificate
- Demande de certificat
- ARN : *
- Cliquez sur Ajouter un relevé.
- Faites défiler l'écran vers le haut pour ajouter une autre déclaration.
- Select Type de politique : Politique IAM
- Effet : Autoriser
- Service AWS : Gestion des identités et des accès AWS Rôles en tout lieu
- Actions :
- Créer un profil
- CreateTrustAnchor
- Obtenir un profil
- GetTrustAnchor
- Liste des profils
- ListTrustAnchors
- ARN : *
- Cliquez sur Ajouter un relevé.
- Cliquez sur Générer la politique.
- Copiez la politique car elle sera utilisée dans l'étape suivante pour créer la politique nécessaire à la création des certificats de l'AC privée.
- Allez sur AWS Console et sélectionnez IAM parmi Tous les Services. Cliquez sur Politiques dans le panneau de gauche, puis sur Créer une Politique.
- Copiez la politique dans l'onglet JSON, cliquez sur Suivant : Balises, puis sur Suivant : Révision
.
- Saisissez un nom (comme Netskope-ce-rolesAnywhere-policy) et cliquez sur Enregistrer les modifications.
Créer une autorité de certification privée
- Connectez-vous à la console AWS.
- Recherchez Certificate Manager.
- Cliquez sur AWS Private CA.
- Cliquez sur Créer une autorité de certification privée.
- Pour les options de mode, sélectionnez Usage général.
- Pour les options de type d'autorité de certification, sélectionnez Racine.
- Voici l’Organisation (O).
- Pour les options d’algorithme clé, sélectionnez RSA 2048.
- Ajoutez les tags s'il y en a (facultatif).
- Cochez la case dans la section Options d'autorisation de l'AC.
- Cochez la case dans la section Prix.
- Cliquez sur Créer pour créer le certificat d'autorité de certification.
- Depuis Actions, sélectionnez Installer.
- Cliquez sur Confirmer et installer.
Créer un ancrage de confiance
- Cherchez le service IAM , allez dans Rôles sous gestion d’accès, faites défiler jusqu’à Rôles n’importe où et sélectionnez Gérer.
- Cliquez sur Créer une ancre de confiance
- Voici un nom d’ancrage Trust, comme Netskope-ce-trust-anchor.
- Select AWS Certificate Manager Private CA (créé dans les étapes précédentes) comme source d'autorité de certification (CA)
- Ajoutez des étiquettes si nécessaire.
- Cliquez : Créer un ancrage de confiance.
- Cliquez sur créer Trust Anchor et copiez l’ARN de Trust Anchor.
Créer un rôle IAM
- Accédez aux services IAM dans la console AWS.
- Cliquez sur Rôle dans le sous-menu Gestion de l'accès.
- Cliquez sur Créer un rôle.
- Dans le type d'entité de confiance, sélectionnez Stratégie de confiance personnalisée.
- Allez sur Policy Generator.
- Remplacez la politique de confiance personnalisée par la politique de confiance ci-dessous. Cette politique contient les autorisations pour l'utilisation du service Rôles n'importe où :
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": [ "rolesanywhere.amazonaws.com" ] }, "Action": [ "sts:AssumeRole", "sts:TagSession", "sts:SetSourceIdentity" ] } ] }
- Cliquez sur Suivant.
- Dans les politiques de permissions, sélectionnez la politique créée dans Créer une politique de file d'attente SQS.
- Cliquez sur Suivant.
- Indiquez un nom de rôle (par exemple, AWS-SQS-Role) et une description pour ce rôle.
- Cliquez sur Créer un rôle.
- Notez l’ARN du rôle, car il sera requis dans le paramètre de configuration Plugin Role ARN pour la méthode d’authentification AWS IAM Roles Anywhere.
Créer un profil
- Select Rôles sous Gestion de l'accès.
- Faites défiler jusqu’à Rôles n’importe où et cliquez sur Gérer.
- Développez les étapes de la configuration.
- Cliquez sur Étape 2 : Configurer les rôles.
- Cliquez sur Configurer un profil.
- Entrez un nom de profil, comme Netskope-ce-profile.
- Select le rôle créé dans Créer un rôle IAM Netskope-ce-roleAnywhere.
- Supprimez la politique Inline.
- Cliquez sur Créer un profil.
- Select le profil créé et copiez son ARN.
Demander un certificat privé
- Allez sur AWS Certificate Manager > Request certificate.
- Select Demandez un certificat privé.
- Cliquez sur Suivant.
- Select l'autorité de certification créée à l'étape précédente.
- Indiquez un nom de domaine dans le champ Fully qualified domain name, comme Netskope-ce.com.
- Select RSA 2048 comme algorithme clé.
- Ajoutez des étiquettes si nécessaire.
- Confirmez les autorisations de renouvellement du certificat.
- Cliquez sur Demander.
- Dans le volet de navigation d'AWS Certificate Manager, cliquez sur List certificates.
- Select le certificat créé précédemment.
- Cliquez sur Exporter.
- Saisissez la phrase d'authentification .Notez la phrase de passe car elle sera nécessaire pour la configuration du plugin AWS Security Lake utilisant la méthode d'authentification AWS IAM Roles Anywhere.
- Cliquez sur Générer un codage PEM.
- Téléchargez tous les certificats car ils ne seront plus visibles. Pour les certificats New, vous devrez les exporter à nouveau.
Pour plus d'informations, consultez la page AWS IAM Role Anywhere.
Authentification AWS
Créer un rôle
- Allez dans les services IAM dans la console AWS.
- Cliquez sur Créer un rôle.
- Select le service AWS.
- Sous Cas d'utilisation, sélectionnez EC2.
- Cliquez sur Suivant.
- Select la politique d'autorisation créée dans Créer une politique AWS SQS.
- Cliquez sur Suivant.
- Saisissez un nom de rôle (comme AWS-SQS-Role) et ajoutez une description.
- Cliquez sur Créer un rôle.
Attribuer un rôle à une instance EC2
- Connectez-vous à la console de votre instance EC2.
- Cliquez sur Instances sous Instances.
- Accédez à Action > Sécurité > Modifier le rôle IAM.
- Select le rôle que vous avez créé ci-dessus dans Créer un rôle. (Netskope-ce-instance-role).
- Cliquez sur Ajouter un rôle IAM ou Modifier un rôle IAM.
Attribuer un rôle à une instance de K8s
- Ouvrez votre rôle créé pour ServiceAccount lors de la création de l'instance K8s.
- Attachez la politique créée dans Create a AWS SQS Policy (Créer une politique AWS SQS).
Configurer le plugin AWS SQS
- Dans Cloud Exchange, accédez à Settings > Plugins.
- Recherchez et sélectionnez le plugin AWS SQS pour ouvrir la boîte de dialogue de création du plugin.
- Saisissez un nom de configuration. Désactivez le bouton de transformation, car seul l'envoi de données JSON est pris en charge.
- Cliquez sur Next.
- Enter values for these parameters:
- Méthode d'authentification : Select la méthode à utiliser pour l'authentification (déployé sur AWS/AWS IAM Roles Anywhere)
- Private Key (Clé privée) : Clé privée pour le décryptage du certificat privé de l'autorité de certification AWS. Requis pour le type d'authentification AWS IAM Roles Anywhere.
- Organisme de certification : Organisme de certification pour le certificat de l'autorité de certification publique/privée d'AWS. Requis pour le type d'authentification AWS IAM Roles Anywhere.
- Password Phrase : Phrase de mot de passe pour décrypter le certificat CA. Requis pour le type d'authentification AWS IAM Roles Anywhere.
- Profil ARN : ARN du profil AWS pour l'authentification du client AWS. Requis pour le type d'authentification AWS IAM Roles Anywhere.
- ARN de rôle : ARN du rôle AWS pour l'authentification du client AWS. Requis pour le type d'authentification AWS IAM Roles Anywhere.
- Trust Anchor ARN : ARN de l'ancre de confiance AWS pour l'authentification du client AWS. Requis pour le type d'authentification AWS IAM Roles Anywhere.
- Nom de la région AWS SQS : Nom de la région AWS SQS à partir de laquelle vous pouvez obtenir la file d'attente AWS. Assurez-vous que le nom de la région correspond à celui de l'ARN du profil et de l'ARN de l'ancre de confiance.
- Nom de la file d'attente AWS SQS : Nom de la file d'attente AWS SQS dans laquelle l'objet de données sera stocké.
- Cliquez Save. Le New plugin sera disponible sur la page Log Shipper > Plugins .
Configurer une règle de gestion de l'expéditeur de journaux pour AWS SQS
- Accédez à la page Règle de gestion.
- Par défaut, nous disposons d'une règle de gestion qui filtre toutes les alertes et tous les événements. Si vous souhaitez filtrer un type d'alerte spécifique, cliquez sur "Create New Rule" et configurez une règle de gestion New en ajoutant le nom de la règle et le filtre.
Configurer un mappage SIEM Log Shipper pour AWS SQS
- Allez à Log Shipper > SIEM Mappings et cliquez sur Add SIEM Mapping.
- Select le plugin Source (CLS Netskope), le plugin Destination (CLS AWS SQS), la règle métier, puis cliquez Save.
- Une fois le mappage SIEM ajouté, les données commencent à être extraites du locataire Netskope, transformées et ingérées dans la file d'attente AWS SQS.
Validez le plugin AWS SQS
Valider le retrait
Pour valider le tirage des indicateurs du locataire Netskope, consultez la section Logging in Netskope CE. Recherchez les billes tirées...
Valider le push
Pour valider le plugin workflow dans Netskope Cloud Exchange:
- Allez dans Logging et recherchez les événements ingérés avec le filtre message contains ingested.
- Les journaux ingérés seront filtrés.
Pour valider le push sur la file d'attente AWS SQS :
- Accédez à la console AWS. Dans la barre de recherche, recherchez Queue et cliquez sur Simple Queue Service.
- Recherchez la file d'attente que vous avez utilisée lors de la création du plugin.
- Cliquez sur le nom de la file d'attente, puis sur Send and receive messages.
- Faites défiler vers le bas et cliquez sur Poll for messages.
- Toutes les données partagées seront visibles comme indiqué ci-dessous.
Les alertes spécifiques peuvent être filtrées via la boîte de texte des messages de recherche . Cliquez sur l’ID pour consulter les détails de l’alerte. Cliquez sur l’onglet Attributs pour voir le Nom et le Type de l’alerte.
Dépannage
Impossible de configurer le plugin CLS AWS SQS.
Si vous ne parvenez pas à configurer le plugin CLS AWS SQS, c'est peut-être pour l'une des raisons suivantes :
- Si la méthode d'authentification IAM Role Anywhere est utilisée, le certificat et les autres paramètres de configuration peuvent ne pas être présents dans la même région.
- Si Netskope CE est déployé sur AWS, en utilisant la méthode d'authentification Deployed on AWS, le rôle approprié n'est pas attaché à l'instance EC2.
- Invalid values provided to the configuration parameters.
- Les autorisations IAM ne sont pas fournies à l'utilisateur sur la plateforme AWS.
Pour résoudre ces problèmes, suivez les étapes ci-dessous.
- Assurez-vous que le certificat et les autres paramètres de configuration sont créés dans la même région.
- Veillez à suivre la section Attribution de rôle pour attribuer un rôle approprié à l'instance EC2.
- Assurez-vous que des valeurs valides sont fournies dans les paramètres de configuration. Accédez à la page d'enregistrement et vérifiez le message d'enregistrement.
- Fournissez les autorisations IAM à l'utilisateur à l'aide duquel les paramètres de configuration sont créés.
Impossible d'envoyer des alertes sur la file d'attente AWS SQS.
Si vous ne parvenez pas à envoyer des alertes sur la file d'attente AWS SQS, cela peut être dû au fait que la file d'attente a été supprimée de la plateforme AWS SQS après la configuration du plugin CLS AWS SQS.
Pour résoudre ce problème, mettez à jour la configuration du plugin avec le nom de la file d'attente New.
Impossible de trouver des alertes sur la file d'attente AWS SQS.
Si vous ne parvenez pas à trouver des alertes sur la file d'attente AWS SQS, cela peut être dû au fait que la période de conservation des messages par défaut est de 4 jours pour la file d'attente AWS SQS. Si les alertes sont plus anciennes que la période de conservation des messages, elles sont automatiquement supprimées.
Pour résoudre ce problème, suivez les étapes suivantes :
- Accédez à la console AWS et entrez vos identifiants pour vous connecter.
- À partir de Tous les services, Select Simple Queue Service ou recherchez Simple Queue Service dans la barre de recherche.
- Select votre file d'attente dans la liste et cliquez sur le bouton Modifier.
- Dans Configuration, mettez à jour la période de conservation des messages en fonction de vos besoins.
