Plugin Scality pour Log Shipper - Documentation technique Netskope

Ce document explique comment configurer le plugin Scality avec le module Log Shipper de la plateforme Netskope Cloud Exchange. Ce plugin est utilisé pour envoyer des alertes (anomalie, DLP (Prévention des pertes de données), Malware, Policy, Compromised Credential, Legal Hold, Malsite, Quarantaine, Remediation, Security Assessment, Watchlist, UBA et CTEP), des événements (Page, Application, Audit, Infrastructure, Network, Incident et Endpoint) et des logs WebTx [via Netskope LogStreaming] à la plateforme Scality. Pour accéder au plugin, vous aurez besoin des informations d'identification de Scality. Notez que ce plugin est conçu pour envoyer des logs bruts (JSON) à Scality.

Conditions préalables

Un locataire Netskope (ou plusieurs, par exemple des instances de production et de développement/test).
Un locataire Netskope Cloud Exchange avec le plugin Tenant et le plugin Log Shipper déjà configurés.
Un locataire Netskope Cloud Exchange avec le plugin AWS Netskope Log Streaming ou Azure Netskope Log Streaming déjà configuré (pour tirer WebTx des plugins Netskope Log Streaming).
L'URL de votre instance Scality, la clé d'accès, la clé d'accès secrète et le nom du réservoir Scality.
Une instance Scality et un accès Bucket.
Autorisations de l'utilisateur pour le seau Scality.
- ListBucket
- CreateBucket
- ListAllMyBuckets
- GetBucketPolicy
- GetBucketPublicAccessBlock
- PutEncryptionConfiguration
- PutBucketPublicAccessBlock
- PutBucketPolicy

Support du plugin Scality

Le plugin Scality est utilisé pour ingérer les événements Netskope, les alertes Netskope, les données de transactions Web (via Netskope LogStreaming) dans un Scality Bucket.

Type de données	Support
Événements	Oui
Alertes	Oui
WebTx	Oui (via Netskope Log Streaming)

Note

CLS WebTX basé sur Google Pub Sub Lite est obsolète. Veuillez vous référer aux annonces EOL/EOS des produits Netskope - Netskope Knowledge Portal
Pour ingérer les logs WebTX vers vos destinations de livraison de logs comme SIEM, SOAR, XDR, données Lake, utilisez le plugin AWS Netskope Log Streaming ou Azure Netskope Log Streaming.
L'ingestion du type d'événement Endpoint est prise en charge à partir de la version 5.1.0 de Cloud Exchange.

Permissions

Autorisations pour l'utilisateur d'envoyer des événements, des alertes et des journaux de transactions Web dans les buckets.

Détails de l'API

Liste des API utilisées

Ce plugin utilise des bibliothèques Python pour créer des objets fichiers dans Scality.

Bibliothèque : Le SDK AWS pour Python (Boto3)

Utilisation : Le SDK AWS pour Python (Boto3) pour créer, configurer et gérer les services AWS, tels que Amazon Elastic Compute Cloud (Amazon EC2) et Amazon Simple Storage Service (Amazon S3). Le SDK fournit une API orientée objet ainsi qu'un accès de bas niveau aux services AWS.

Créer le client

s3_client = boto3.client(
                "s3",
                aws_access_key_id=self.scality_public_key,
                aws_secret_access_key=self.scality_private_key,
                aws_session_token=self.scality_session_token,
                endpoint_url=endpoint_url
                config=Config(proxies=self.proxy, user_agent=self.useragent),
            )

Créer un panier

bucket = s3_client.create_bucket(
                        Bucket=bucket_name,
                        CreateBucketConfiguration=location,
                    )

Télécharger un fichier dans le Bucket

s3_client.upload_file(
                file_name,
                bucket_name,
                object_name,
            )

Obtenir une ressource AWS

s3_resource = boto3.resource(
                "s3",
                aws_access_key_id=self.scality_public_key,
                aws_secret_access_key=self.scality_private_key,
                endpoint_url=endpoint_url
                config=Config(proxies=self.proxy, user_agent=self. user-agent),
            )

Workflow

Créez un Scality Bucket.
Configurez le plugin Scality.
Configurez une règle de gestion de l'expéditeur de journaux pour Scality.
Configurez la livraison des journaux pour Scality.
Validez le plugin.

Cliquer sur « play » pour regarder une vidéo.

Créer un panier

Connectez-vous à votre instance Scality.
Entrez vos informations d'identification et connectez-vous.
Cliquez sur Create Bucket et saisissez un nom de godet dans lequel vous souhaitez ingérer vos données.

Configurer le plugin Scality

Dans Cloud Exchange, allez sur Settings > Plugin Store. Recherchez et sélectionnez le plugin Scality v1.0.0 (CLS) .
Entrez un nom de configuration et assurez-vous que le fichier Scality Default Mappings (recommandé) est sélectionné.
Cliquez sur Next et entrez les paramètres de configuration :
- Scality Endpoint URL: URL du point de terminaison de votre instance Scality (comme https://s3-your.domain.com/)
- Access Key: Clé d’accès pour votre instance Scality.
- Secret Access Key: Clé d’accès secrète pour votre instance Scality.
- Scality Bucket Name: Nom du seau d’échelle dans lequel l’objet logs sera stocké. (Le seau ne sera pas créé si le seau avec le nom spécifié n’existe pas sur Scality.)
- Maximum File Size (in MBs): Taille maximale de l'objet de données WebTx[via Netskope LogStreaming] à stocker dans le compartiment. (La valeur doit être comprise entre 1 et 100.)
- Maximum Duration (in Seconds): Durée maximale après laquelle le WebTx[via Netskope LogStreaming] l'objet de données doit être stocké dans le seau.

Cliquez sur Save. Le plugin New sera disponible sur la page Log Shipper > Plugins.

Configurer une règle de gestion de l'expéditeur de logs pour Scality

Dans Log Shipper, allez à Business Rules.
Par défaut, nous avons une règle métier qui filtre toutes les alertes et événements. Si vous souhaitez filtrer un type spécifique d’alerte ou d’événement, cliquez sur Create New Rule et configurez une règle métier New en ajoutant un nom de règle et les filtres souhaités. Une fois terminé, cliquez sur Save.

Configurez la livraison de journaux par expéditeur pour obtenir une échelle

Allez à Log Shipper > Log Delivery et cliquez sur Add Log Delivery Configuration.
Pour les alertes et événements, sélectionnez le plugin Source (Netskope CLS), le plugin Destination (CLS Scality), votre règle métier, puis cliquez Save.
Pour WebTx, sélectionnez le plugin Source (AWS Netskope Log Streaming ou Azure Netskope Log Streaming), et le plugin Destination (CLS Scality), votre règle métier, puis cliquez sur Save.
Une fois la configuration Log Delivery ajoutée, les données commenceront à être extraites du locataire Netskope, transformées et ingérées dans Scality.

Valider le plugin Scality

Valider le retrait

Pour valider l'extraction des indicateurs du locataire Netskope, allez sur Logging dans Cloud Exchange et recherchez les journaux extraits.

Valider le push

Pour valider le plugin workflow dans Cloud Exchange:

Allez sur Logging et recherchez les événements, les alertes et les WebTx ingérés avec le filtre message contains ingested.
Les journaux ingérés seront filtrés.

Pour valider la poussée sur le Scality :

Connectez-vous à Scality.
Cliquez sur votre seau.
Click the Alerts folder.
Cliquez sur le dossier Events.
Cliquez sur le dossier WebTx.

Notez que :

Pour les alertes et les événements, la structure du dossier sera la suivante : Alertes/nom de l'alimentation/année/mois/jour/heure/nom du fichier.txt.
Pour WebTx, la structure du dossier sera la suivante : Alerts/feedname/year/month/day/hour/filename.gz.

Example: demobucket/alerts/feedname=Malware/year=2023/month=11/day=30/hour=9/1701336881_139977276685128.txt

Dépannage du plugin Scality

Problèmes lors de la configuration du plugin

Cette erreur peut se produire lors de la configuration si les informations d'identification de Scality ou le nom du seau ne sont pas valides.

What to do:

Assurez-vous que l'URL, la clé d'accès et la clé d'accès secrète de votre point de terminaison Scality sont valides.
Assurez-vous que le seau saisi dans le plugin existe sur la plateforme Scality.