Plugin de partage de fichiers Linux pour une classification personnalisée des fichiers

Ce document explique comment configurer le plugin Linux File Share v1.1.1 avec le module Custom File Classification (CFC) de la plate-forme Netskope Cloud Exchange. Ce plugin est utilisé pour récupérer des images ou des fichiers zip à partir d'un serveur Linux distant via le protocole SFTP et générer des hachages CFC des données de fichier récupérées. Il prend en charge les fichiers avec des extensions liées aux formats d'image ou zip.

Conditions préalables

Pour compléter la configuration, vous devez

• Un locataire Netskope (ou plusieurs, par exemple des instances de production et de développement/test).
• A Custom File Classifier on your Netskope tenant.
• A Netskope Cloud Exchange tenant with the Tenant plugin and Custom File Classification plugin already configured.
• Accès à un serveur Linux avec le service SSH activé pour extraire les fichiers images.
• Pour la configuration de Secrets Manager, reportez-vous à Secrets Manager. Pour configurer Azure Key Vault Secrets Manager, reportez-vous à Prérequis pour Azure Key Vault Secrets Manager.

Prise en charge du plugin de partage de fichiers Linux

Le plugin Linux File Share CFC est utilisé pour récupérer des données de fichiers à partir d'un serveur Linux distant via le protocole SFTP et pour générer des hachages CFC des données de fichiers récupérées. Il prend en charge les fichiers dont l'extension est liée aux formats Images ou Zip.

Permissions

Cette autorisation est nécessaire pour la configuration du plugin : L'utilisateur SSH doit avoir un accès en lecture aux fichiers images fournis.

from ..lib import paramiko
ssh_connection = paramiko.SSHClient()
ssh_connection.set_missing_host_key_policy(
    paramiko.AutoAddPolicy()
)
ssh_connection.connect(
    hostname=configuration.get("server_ip"),
    username=configuration.get("username"),
    password=configuration.get("password"),
    port=configuration.get("port"),
)

sftp_session = ssh_connection.open_sftp()

files = sftp_session.listdir(directory_path)

file_attributes = sftp_session.stat(directory_path)
if not stat.S_ISDIR(file_attributes.st_mode):

sftp_session.get(
    data.get("path"),
    os.path.join(file_path, data.get("file", "")),
)

ssh_connection.close()

Matrice de performance

Voici les performances obtenues pour la récupération et le stockage des métadonnées de 10 000 fichiers (taille de chaque fichier d’environ 5,5 Mo et taille totale d’environ 55 Go) sur une instance Large Cloud Exchange présentant les spécifications suivantes.

Workflow

1. Obtenez votre chemin de fichier partagé SFTP à partir d'un serveur Linux.
2. Configurez le plugin Linux File Share CFC.
3. Configurez une règle de gestion pour le partage de fichiers Linux.
4. Configurez le partage de fichiers Linux.
5. Validate the Linux File Share CFC Plugin.

Regardez une vidéo

Cliquer sur « play » pour regarder une vidéo.

Obtenir votre chemin de fichier partagé SFTP à partir d’un serveur Linux

1. Most SFTP setups are controlled via the SSH config file:

   sudo vi /etc/ssh/sshd_config

2. Look for entries like:

   Subsystem sftp internal-sftp

3. Et surtout :

   Match User <username>
       ChrootDirectory /path/to/sftp/root
       ForceCommand internal-sftp

4. The value of ChrootDirectory is the SFTP root (shared path) for that user.

5. If no ChrootDirectory is set, then SFTP typically defaults to the user’s home directory:

   echo $HOME

   Ou :

   grep <username> /etc/passwd

6. Example output:

   testuser:x:1001:1001::/home/testuser:/bin/bash

7. Here, /home/testuser is the SFTP accessible path.

Configurer le plugin CFC de partage de fichiers Linux

1. Dans Cloud Exchange, accédez à Settings > Plugin Store.

2. Recherchez et sélectionnez le plugin Linux File Share v1.1.1 (CFC).

   

3. Saisissez les informations de base :

   • Configuration Name: Enter a name appropriate for your integration.
   • Sync Interval: Interval to pull the data from plugin source. We recommend keeping it longer than 12 hours. (Default: 12 hours)

   

4. Cliquez sur Next et entrez les paramètres de configuration :

   • Server Hostname/IP: Adresse IP/Nom d’hôte du serveur Linux d’où les fichiers de données Image doivent être extraits.
   • Username: Nom d’utilisateur de la machine Linux qui a accès aux fichiers ou au répertoire Image.
   • Password: Password for the provided username.
   • Port: Port number to connect to the SSH service on the Linux machine.

   

5. Cliquez sur Next et entrez les paramètres de configuration de l'annuaire :

   • Directory Path: Chemin du répertoire Linux d’où les images seront extraites. Il prend en compte les fichiers avec des extensions liées aux formats Images ou Zip.
   • Filename Filter: Une expression régulière qui filtre les fichiers image à extraire. Assurez-vous que le filtre est une expression régulière valide. Laissez-le vide pour extraire tous les fichiers du répertoire. Le filtre extrait uniquement les images stockées directement dans le répertoire, et non dans ses sous-répertoires.

   

   Vous pouvez ajouter plusieurs répertoires dans le plugin Partage de fichiers Linux. Cliquez sur Add New Path pour ajouter un autre répertoire.

6. Cliquez sur Next et prévoyez les résultats de l'analyse des fichiers pour le répertoire configuré. Assurez-vous que le nombre et la taille des fichiers extraits par le plugin sont corrects et ne dépassent pas la limite du nombre total de fichiers (10 000) et la limite de la taille totale des fichiers (~78,125 Go).

   

7. Cliquez sur Save.

   

Configuration d'une règle de gestion CFC pour le partage de fichiers Linux

Le module de classification de fichiers personnalisée nécessite des règles métier pour partager les données de fichiers avec le tenant Netskope. Un utilisateur peut ajouter des règles pour filtrer les fichiers par nom, taille, extension, source, etc. Plusieurs règles peuvent être regroupées pour un filtrage avancé.

1. Allez sur Custom File Classification > Business Rules.

2. Cliquez sur Create New Rule et entrez ces paramètres :

   • Rule Name: A unique name for the business rule.
   • Rule: Set a filter based on conditions to make a group of files.
   • Folder Name: Provide a folder or sub-folder name to group multiple business rules. It will help to see a structured list of business rules in the table.

   

3. Cliquez sur Save.

   

Configurer le partage pour le partage de fichiers Linux

1. Allez sur Custom File Classification > Sharing.

2. Cliquez sur Add Sharing Configuration et sélectionnez le plugin Linux File Share CFC comme Source Configuration.

3. Select le plugin CFC Netskope comme Destination Configuration.

4. La Target sera sélectionnée par défaut, en fonction de la configuration de destination.

5. Select un mappage pour Business Rule, File Classifier et Training Type. Vous pouvez mapper plusieurs règles métier dans un seul partage. Le classificateur de fichiers liste uniquement les classificateurs de fichiers personnalisés créés sur le tenant Netskope.

   

6. Cliquez sur Save.

Synchroniser ou supprimer une configuration de partage

• Pour synchroniser la configuration du partage, cliquez sur l’icône de synchronisation. Cela lance immédiatement le processus de partage, sans attendre que l’événement réel soit déclenché.
• Pour supprimer la configuration de partage, cliquez sur l'icône de suppression (corbeille).

Validez le plugin CFC de partage de fichiers Linux

Valider le retrait

Une fois le partage configuré, attendez la prochaine exécution du cycle de vie du plugin configuré Linux File Share CFC.

Pour vérifier les journaux, allez dans Settings > Logging et filtrez les journaux d'extraction.

Validez le statut du plugin de partage de fichiers Linux sur la page Partage et Gestion du Téléversement . Va sur Custom File Classification > Sharing and Upload Management.

L'état de la configuration du partage peut être

• Scheduled: This represents that the sharing is configured, but it is still in the queue and waiting to run for the first time.
• Generating Hash: Cela signifie que le processus de génération d'un hachage est en cours.
• Uploading Hash: This represents that the hash is generated successfully, and the process of sharing it to the configured destination is in progress.
• Completed: This indicates that the generated hash is successfully shared with the destination configuration.
• Failed: Indicates that the process failed in either pulling data, hashing data, or uploading the hash.

Click View Metadata to open the File Metadata page.

Validate Sharing on the Netskope Tenant

1. Connectez-vous à votre locataire Netskope.

2. Allez sur Policies > DLP > File Classifiers.

   

   

3. Select le classificateur que vous avez sélectionné lors de la configuration du partage. Vous verrez les hachages de fichier reçus ici :

   

Dépannage du plugin Linux File Share

Impossible de configurer le plugin Linux File Share CFC

Si vous ne parvenez pas à configurer le plug-in CFC Linux File Share, cela peut être dû à l’une des raisons suivantes :

• Des informations d'identification incorrectes ont été fournies.
• L'utilisateur n'a pas le droit de lire le fichier.
• Nom d'hôte/IP du serveur incorrect.
• La valeur du port fournie est désactivée sur le serveur Linux.
• Chemin d'accès au répertoire incorrect.

What to do:

1. Veillez à fournir les informations d'identification correctes.
2. Assurez-vous que l'utilisateur dispose des autorisations nécessaires pour lire le fichier.
3. Assurez-vous que le nom d'hôte/l'adresse IP du serveur correct est fourni.
4. Assurez-vous que le port est activé et qu'il est en mode d'écoute.
5. Assurez-vous que les données du fichier image se trouvent dans le chemin d'accès fourni.