Plugin AWS S3 pour la correspondance exacte des données

Ce document explique comment configurer le plugin AWS S3 EDM v1.0.0 avec le plugin Exact données Match de la plate-forme Netskope Cloud Exchange. Ce plugin est utilisé pour récupérer un fichier CSV ou TXT à partir d'un compartiment AWS S3 et pour générer des hachages EDM du fichier récupéré. Le fichier peut être non compressé ou compressé au format .gz ou .zip.

Conditions préalables

• Un locataire Netskope (ou plusieurs, par exemple des instances de production et de développement/test) qui est déjà configuré dans Cloud Exchange.
• Un locataire Netskope Cloud Exchange avec le plugin Locataire et le plugin Netskope Exact données Match déjà configurés.
• Autorisations pour les seaux Amazon S3 pour l'utilisateur IAM.
  • ListBucket
  • GetObject
  • GetBucketLocation
• Connectivité avec les hôtes suivants : AWS S3 Bucket access.
• Pour la configuration de Secret Manager, reportez-vous à cette documentation et pour configurer Azure Key Vault Secrets Manager, reportez-vous à cette documentation

Support du plugin AWS S3 EDM

Ce plugin est utilisé pour récupérer un fichier CSV ou TXT à partir d'un bucket AWS S3 et pour générer des hachages EDM du fichier récupéré. Le fichier peut être décompressé ou compressé au format .gz ou .zip.

Permissions

Autorisations de bucket Amazon S3 pour l’utilisateur IAM permettant d’extraire des fichiers CSV :

• ListBucket
• GetObject
• GetBucketLocation

client_args = {
    "region_name": region,
    "verify": verify,
    "config": Config(
        proxies=self._get_proxies() or None,
        user_agent=self.user_agent,
        retries={"total_max_attempts": 3, "mode": "standard"},
        connect_timeout=30,
        read_timeout=120,
    ),
}
if credentials:  # AWS IAM Roles Anywhere only
    client_args.update(
        {
            "aws_access_key_id": credentials.get("accessKeyId"),
            "aws_secret_access_key": credentials.get("secretAccessKey"),
            "aws_session_token": credentials.get("sessionToken"),
        }
    )
self._client = boto3.client("s3", **client_args)

response = requests.post(
    f"https://{host}{CANONICAL_URI}",   # https://rolesanywhere.<region>.amazonaws.com/sessions
    data=body,
    headers=headers,                    # AWS4-X509-RSA-SHA256 signed
    proxies=self.proxy,
    timeout=60,
    verify=self.verify,
)

{
    "durationSeconds": 900,
    "profileArn": profile_arn,
    "roleArn": role_arn,
    "sessionName": "Session",
    "trustAnchorArn": trust_anchor_arn,
}

self.call(
    "head_bucket",
    client.head_bucket,
    bucket,
    Bucket=bucket,
)

location = client.get_bucket_location(Bucket=bucket)
bucket_region = location.get("LocationConstraint") or "us-east-1"

response = self.call(
    "head_object",
    client.head_object,
    bucket,
    key,
    Bucket=bucket,
    Key=key,
)

response = self.client.call(
    "get_object",
    client.get_object,
    bucket,
    key,
    Bucket=bucket,
    Key=key,
)
body = response["Body"]

request = {
    "Bucket": bucket,
    "Key": key,
    "Range": f"bytes={offset}-{end}",
}
if info.get("etag"):
    request["IfMatch"] = info["etag"]
response = self.client.call(
    "get_object", client.get_object, bucket, key, **request
)

Matrice de performance

Here is the performance reading conducted for fetching and sanitizing ~1M Rows (25 columns, per column ~50 characters long string, 1.3 GB size, Avg Column Uniqueness: ~96%, Avg Row Uniqueness: ~96%) CSV file on a Large CE instance with these specifications:

Agent utilisateur

APN/1.1 (ahq9d89xj9gspapczzdb59goq)

Workflow

1. Créez un S3 Bucket et une Policy.
2. Générer la clé privée, le corps du certificat, la phrase de passe, l'ARN du profil, l'ARN du rôle, l'ARN de l'ancre de confiance si vous utilisez AWS IAM Role Anywhere.
3. Configurer le plugin AWS S3 EDM.
4. Configurer le partage entre le plugin AWS S3 EDM et le locataire.
5. Valider le plugin AWS S3 EDM.

Regardez une vidéo

Cliquer sur « play » pour regarder une vidéo.

Création d'un bac source AWS S3

1. Pour créer un compartiment et définir les politiques requises, connectez-vous à la console AWS et saisissez vos identifiants pour vous connecter.

   

2. À partir de All Services, recherchez et sélectionnez S3 dans la barre de recherche.

   

3. Cliquez sur Create Bucket.

   

4. Saisissez le nom du compartiment (comme netskope-ce-source-bucket), faites défiler jusqu’en bas et cliquez sur Create Bucket.

   

5. Recherchez et cliquez sur le nom de votre bucket pour l’ouvrir.

   

6. Cliquez sur Permission pour ouvrir l'onglet des autorisations et définir la politique.

   

7. Cliquer sur Edit dans la section Bloquer l’accès public (paramètres du compartiment). Décocher toutes les cases et cliquer sur Save Changes. Une confirmation sera demandée. Cliquer sur Confirm.

   

8. On the Permissions tab in the bucket, click Edit in the Bucket Policy section.

   

9. Cliquez sur Policy Generator.

   

10. Select la politique de bucket S3 comme type de politique Add Statement Détails pour générer une politique.
    
    Remplacez <user-arn> par l’ARN d’utilisateur utilisé pour accéder au bucket source et <bucket-name> par le bucket source créé ci-dessus.
    Exemples : <user-arn>: arn:aws:iam::7111xxxxxxxx:user/xxxxxxxx et
    <bucket-name>: netskope-ce-source-bucket

    • Select Type of Policy: Politique de bucket S3
    • Effect: Permettre
    • Principal: <user-arn>
    • Actions:
      • GetBucketAcl
      • GetBucketPolicy
    • ARN: arn:aws:s3:::<bucket-name>
    • Click Add Statement.

    

    • Select Type of Policy: Politique de bucket S3
    • Effect: Permettre
    • Principal: <user-arn>
    • Actions :
      • PutObject
      • PutObjectAcl
    • ARN : arn:aws:s3:::<bucket-name>/*
    • Cliquez sur Add Statement.

    

    

    • Cliquez sur Generate Policy. Veillez à copier la politique générée à cette étape, car elle sera utilisée à l'étape suivante pour attacher le seau source.

    

11. Ajoutez cette politique dans la boîte de texte. Faites défiler jusqu’en bas et cliquez Save Changes.

    

Création d'une politique de gestion des seaux

Recherchez IAM dans la zone de recherche et, dans le panneau de gauche, cliquez sur Policies.

1. Cliquez sur Create Policy.

   

2. Cliquez sur l'onglet JSON et saisissez la politique indiquée ci-dessous. Cliquez sur Next: Tags puis sur Next: Review.

   

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "VisualEditor0",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:ListBucket",
                   "s3:GetBucketLocation"
               ],
               "Resource": "*"
           }
       ]
   }

3. Saisissez un nom et cliquez sur Create Policy.

   

4. Attachez cette politique à l’utilisateur en suivant ces étapes :

   • Aller à IAM > Users. Select l'utilisateur auquel vous souhaitez associer une politique, cliquez sur Add permissions, puis sur Add permissions.

   

   • Select l'option Attach policies directly sous Permissions, puis recherchez et Select la politique créée à l'étape précédente.

   

   • Cliquez sur Next, puis sur Add permissions. La politique sera rattachée à l'utilisateur.

   

Méthodes d'authentification des plugins

Configuration de IAM Role Anywhere

Conditions préalables

Le service AWS Certificate Manager doit être activé pour authentifier le plugin à l'aide de la méthode d'authentification AWS IAM Roles Anywhere.

Assurez-vous de créer l'autorité de certification privée, l'ancre de confiance et le profil dans la même région que celle où se trouve votre AWS S3 Source Bucket.

Créer une politique

Cette politique contient les autorisations requises pour la création d'un certificat d'autorité de certification privée (y compris les autorisations pour la création d'une ancre de confiance et d'un profil) et pour l'utilisation des rôles IAM Anywhere.

1. Allez dans Générateur de politiques, sélectionnez Politique IAM comme type de politique et générez une politique.

   • Select Type of Policy: Politique IAM
   • Effect: Permettre
   • AWS Service: Autorité de certification privée AWS
   • Actions:
     • Créer une autorité de certification
     • DescribeCertificateAuthority
     • Obtenir un certificat
     • Obtenir un certificat d'autorité
     • Obtenir l'autorité de certification (GetCertificateAuthorityCsr)
     • ImportCertificateAuthorityCertificate
     • Délivrer un certificat
     • Liste des autorités de certification
   • ARN: *
2. Cliquez sur Add Statement.



• Select Type of Policy: Politique IAM
• Effect: Permettre
• AWS Service: gestion des identités et des accès (IAM) AWS
• Actions:
  • Politique de rattachement des rôles
  • Créer une clé d'accès
  • Créer un rôle
  • Supprimer un rôle
  • PassRole
• ARN: *
3. Cliquez sur Add Statement.



• Select Type of Policy: Politique IAM
• Effect: Permettre
• AWS Service: Gestionnaire de certificats AWS
• Actions:
  • Décrire le certificat
  • Certificat d'exportation
  • Obtenir un certificat
  • Liste des certificats
  • ListTagsForCertificate
  • Demande de certificat
• ARN: *
4. Cliquez sur Add Statement.



• Select Type of Policy: Politique IAM
• Effect: Permettre
• AWS Service: Rôles AWS Identity and Access Management Anywhere
• Actions:
  • Créer un profil
  • CreateTrustAnchor
  • Obtenir un profil
  • GetTrustAnchor
  • Liste des profils
  • ListTrustAnchors
• ARN: *
5. Cliquez sur Add Statement.



6. Cliquez sur Generate Policy.



7. Copiez la politique car elle sera utilisée dans l'étape suivante pour créer la politique nécessaire à la création des certificats de l'AC privée.

8. Accédez à la console AWS et sélectionnez IAM dans All Services. Cliquez sur Policies dans le panneau de gauche, puis cliquez sur Create Policy.

   

9. Copiez la stratégie dans l’onglet JSON. Cliquez sur Next: Tags, puis sur Next: Review.

   

10. Enter the Name (like netskope-ce-rolesAnywhere-policy), and click Save Changes.

    

Créer une autorité de certification privée

1. Connectez-vous à la console AWS.

2. Cherche Certificate Manager.

   

3. Cliquez sur AWS Private CA.

4. Cliquez sur Create a private CA.

   

5. Pour les options de mode, sélectionnez General-purpose. 

6. Pour les options de type CA, sélectionnez Root.

   

7. Saisissez une organisation (O).

   

8. Pour les options de l’algorithme de clé, sélectionnez RSA 2048.

   

   

9. Add tags if any (optional).

10. Cochez la case dans la section Options d’autorisations CA.

11. Cochez la case dans la section Tarification.

12. Cliquez sur Create pour créer le certificat CA.

    

    

13. À partir de Actions, sélectionnez Install.

    

14. Cliquez sur Confirm and Install.

    

    

Créer une ancre de confiance

1. Recherchez le service IAM et allez sur Roles sous Gestion des accès. Faites défiler vers le bas jusqu’à Rôles Anywhere et sélectionnez Manage.

   

2. Cliquez sur Create a Trust anchor.

   

3. Enter a Trust anchor name, like netskope-ce-trust-anchor.

   

4. Select AWS Certificate Manager Private CA (créé aux étapes précédentes) comme source de l'autorité de certification (CA).

5. Ajoutez des étiquettes si nécessaire.

6. Cliquez sur Create a trust anchor.

   

   

7. Cliquez sur l’ancre de confiance créée et copiez le Trust Anchor ARN

   

Créer un rôle IAM

1. Accédez aux services IAM dans la console AWS.

2. Cliquez sur Role dans le sous-menu Gestion des accès.

3. Cliquez sur Create Role.

   

4. Dans le type d’entité de confiance, sélectionnez Custom Trust Policy.

   

5. Remplacez la politique de confiance personnalisée par la politique de confiance donnée ci-dessous. Cette politique contient les autorisations nécessaires pour utiliser le service Roles Anywhere :

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": [
                       "rolesanywhere.amazonaws.com"
                   ]
               },
               "Action": [
                   "sts:AssumeRole",
                   "sts:TagSession",
                   "sts:SetSourceIdentity"
               ]
           }
       ]
   }

   

6. Cliquez sur Next.

7. Dans les politiques d’autorisation, sélectionnez la politique créée précédemment.

   

8. Cliquez sur Next.

9. Saisissez un nom de rôle et une description pour le rôle, comme netskope-ce-roleAnywhere.

10. Cliquez sur Create role.

    

11. Prenez note de Role ARN car cela sera requis dans le paramètre de configuration du plugin Role ARN pour la méthode d'authentification AWS IAM Roles Anywhere.

    

Créer un profil

1. Select Roles présent sous Access management.

2. Faites défiler vers le bas jusqu'à Roles Anywhere et cliquez sur Manage.

   

3. Développez les étapes de la configuration.

4. Cliquez sur Step 2: Configure roles.

5. Cliquez sur Configure a profile.

   

6. Enter a Profile name, like netskope-ce-profile.

7. Select le rôle créé précédemment (netskope-ce-roleAnywhere)

   

8. Supprimez la politique d’assurance en ligne.

9. Cliquez sur Create profile.

   

   

   

10. Cliquez sur le profil créé et copiez le Profile ARN.

    

Demander un certificat privé

1. Allez sur AWS Certificate Manager > Request certificate.

2. Select Request a private certificate.

   

3. Cliquez sur Next.

4. Select l'autorité de certification créée précédemment.

   

5. Saisissez un nom de domaine dans le champ Nom de domaine complet, comme netskope-ce.com.

6. Select RSA 2048 pour l'algorithme de la clé.

   

7. Ajoutez des étiquettes si nécessaire.

8. Confirmez les autorisations de renouvellement du certificat.

9. Cliquez sur Request.

   

10. Allez sur List certificates dans le volet de navigation d'AWS Certificate Manager.

11. Select le certificat créé précédemment.

    

12. Cliquez sur Export.

    

13. Saisissez le passphrase. Prenez note de la phrase secrète car elle sera nécessaire pour la configuration du plugin AWS S3 à l’aide de la méthode d’authentification AWS IAM Roles Anywhere.

14. Cliquez sur Generate PEM Encoding.

    

15. Téléchargez tous les Certificates car ils ne seront plus visibles. Pour les certificats New, vous devrez les exporter à nouveau.

    

    Pour plus d’informations, rendez-vous sur AWS IAM Role Anywhere

Déployé sur AWS Configuration

Créer un rôle

1. Accédez aux services IAM dans la console AWS.

2. Cliquez sur Create role.

   

3. Select le AWS Service.

4. Sous Cas d'utilisation, sélectionnez EC2.

5. Cliquer sur Next.

   

6. Select la politique d'autorisation créée dans Créer une politique.

7. Cliquez sur Next.

   

8. Entrez un Nom de rôle, comme netskope-ce-instance-role, et une Description.

9. Cliquez sur Create Role.

   

   

Affecter un rôle à une instance EC2

1. Ouvrez la console de votre instance EC2.

2. Cliquez sur Instances sous Instances

   

   

3. Allez sur Action > Security > Modify IAM Role.

   

4. Select le rôle que vous avez créé ci-dessus dans Créer un rôle (netskope-ce-instance-role).

5. Cliquer sur Add IAM role/Modify IAM Role. Veuillez noter que l'instance EC2 et le bucket doivent se trouver dans la même région.

   

Attribuer un rôle à l'instance Fargate

1. Ouvrez votre script CFN.

2. Get the ExistingECSTaskRole parameter value if present.

   

3. Allez sur IAM > Roles.

4. Recherchez la valeur du paramètre ExistingECSTaskRole ou recherchez NetskopeCloudExchangeTaskRole-<CFN name> et sélectionnez le rôle.

   

5. Attacher la politique créée précédemment à ce rôle :

   • Cliquez sur Add permission et attachez des politiques.

     

   • Recherchez et sélectionnez la politique créée précédemment (netskope-ce-s3-policy).

   • Cliquez sur Add permissions.

     

Attribuer un rôle à l'instance K8s

1. Ouvrez votre rôle créé pour ServiceAccount lors de la création de l'instance K8s.
2. Attachez la politique créée dans Créer une politique

Configurer le plugin AWS S3 EDM

1. Dans Cloud Exchange, accédez à Settings > Plugin Store.

2. Recherchez et sélectionnez le plugin AWS S3 EDM v1.0.0.

   

3. Saisissez les informations de base :

   • Configuration Name: Enter a name appropriate for your integration.
   • Sync Interval: Adjust Sync Interval as per your requirement. (Default: 12 hours).

   

   Le nom de configuration que vous fournissez sera utilisé pour donner un nom au fichier de hachage généré à partager avec le locataire Netskope. Sachez que si vous supprimez ultérieurement cette configuration et en créez une autre à l'adresse New avec le même nom, il se peut que le fichier de hachage existe déjà dans le locataire Netskope. Dans ce cas, la tentative de transfert du fichier de hachage vers le locataire entraînera une erreur, car le fichier portant le même nom existe déjà. Envisagez d'utiliser un nom unique pour éviter ce problème.

4. Cliquez sur Next et entrez les paramètres de configuration :

   • Authentication Method: Select la méthode à utiliser pour l'authentification du client AWS.
   • Private Key: Clé privée encodée en PEM utilisée pour déchiffrer le certificat de CA privée AWS. Obligatoire pour l’authentification AWS IAM Roles Anywhere.
   • Certificate Body: Organisme de certification X.509 codé en PEM délivré par votre autorité privée ou publique AWS. Obligatoire pour l’authentification AWS IAM Roles Anywhere.
   • Password Phrase: Phrase secrète utilisée pour déchiffrer la clé privée si elle est chiffrée. Requis pour l’authentification AWS IAM Roles Anywhere uniquement si la clé privée est chiffrée.
   • Profile ARN: ARN du profil AWS pour l’authentification du client AWS. Requis pour le type d’authentification AWS IAM Roles Anywhere.
   • Role ARN: AWS Role ARN pour l’authentification client AWS. Obligatoire pour le type d’authentification AWS IAM Roles Anywhere.
   • Trust Anchor ARN: AWS Trust Anchor ARN pour l’authentification client AWS. Obligatoire pour le type d’authentification AWS IAM Roles Anywhere.
   • AWS S3 Bucket Region: Région AWS où se trouve le bucket S3. Assurez-vous que la région correspond à la région indiquée dans l'ARN du profil et l'ARN de l'ancre de confiance lors de l'utilisation d'IAM Roles Anywhere. Select Région personnalisée pour saisir une région qui ne figure pas dans la liste.
   • AWS Custom Region: N’importe quel code de région AWS valide du bucket, pour une région qui ne figure pas dans la liste des régions de bucket AWS S3. IAM Roles Anywhere prend en charge uniquement les partitions aws, aws-cn et aws-us-gov (pas les régions ISO ou eusc-).
   • AWS S3 Bucket Name: Nom du compartiment AWS S3 contenant le fichier à extraire. Exemple : mon-compartiment-données-edm.
   • File Path: Chemin d’accès du fichier (chemin du fichier à l’intérieur du bucket) à extraire. N’incluez pas le nom du bucket ni le préfixe s3://.
   • Delimiter: Délimiteur à caractère unique utilisé dans le fichier CSV/TXT (comme une virgule, une barre verticale, un point-virgule).
   • Remove Quotes: Activez cette option si votre CSV délimite les champs avec des doubles guillemets, en particulier lorsque les valeurs contiennent des virgules. Les champs entre guillemets seront analysés comme des colonnes uniques. Un placement incorrect des guillemets peut entraîner le saut de lignes.
   Par défaut, les guillemets sont traités comme du texte littéral. Activez la bascule Supprimer les guillemets si votre fichier CSV utilise des guillemets doubles pour encapsuler les champs qui contiennent des virgules (par exemple, « 123 rue ABC, Suite 100 »). Cela garantit que le champ est traité comme une seule colonne. Notez que ce mode nécessite un formatage CSV strict. Si un champ commence par un guillemet, tout caractère, y compris un espace, suivant le guillemet fermant mais précédant la virgule (par exemple, « Mot »,) entraînera le saut de la ligne.

   For the AWS IAM Roles Anywhere Authentication Method

   

   

   For the Deployed on AWS Authentication Method

   

   

   Les fichiers ZIP ou GZ compressés ne doivent contenir qu'un seul fichier. Si un fichier ZIP ou GZ contient plusieurs fichiers CSV, une erreur se produira et le plugin ne sera pas enregistré.

5. Cliquez sur Next et saisissez les paramètres de génération de hachage et d'assainissement :

   • Select les options appropriées pour les opérations d'assainissement et de génération de hachage :
     • Sanitization (Name Column): Sanitize the content by checking the Name Column checkbox. (Default: Unchecked). The Sanitization Process performs the following actions:
       • One character: The cell will be marked as invalid if it contains only one character.
       • Digits: Cells containing digits will be marked as invalid.
       • Stopwords: Les cellules qui correspondent à un mot parasite de la liste seront marquées comme non valides (cela ne fonctionne que si la case Remove stopwords est cochée).
       • Non-alphanumeric characters: Remove all special characters to validate the cell.
     • La génération de hachages est divisée en deux parties :
       • Normalization: Select the value from dropdown to normalize the data value. (Default: None)
       • Create Dictionary: Select value from dropdown to create dictionary of unique values for selected field that can be used in DLP rule in netskope tenant. (Default: None)
   • Remove Stopwords: Mark as checked if you want to remove certain stopwords as part of the sanitization process.(Default:Unchecked) Ensure that Name Column is checked for the applicable field to reflect the changes.

   

   • Paramètre de normalisation des utilisateurs pour normaliser les résultats récupérés. Par exemple, un numéro comme 123-45-6789 ou 123 45 6789 sera traité comme 123456789. Les normalisations de numéros ignorent les caractères tels que les points, les tirets et les espaces. Une normalisation de chaîne ignore la casse des lettres.
   • N'utilisez l'option Créer un dictionnaire qu'en cas de nécessité, car cette opération est gourmande en ressources et peut avoir un impact sur les performances du système. Choisissez cette option de manière réfléchie pour une efficacité optimale.

6. Click Next. Preview the sanitization sample output by clicking Preview Good File or Preview Bad File.

   

   Si vous utilisez le plugin avec l’assainissement activé, les performances peuvent être différentes en raison du traitement supplémentaire.

7. Proceed without sanitization: Uncheck this option to proceed with sanitization. (Default: Checked)

   Toutes les données seront prises en compte pour la génération du hachage si cette option n'est pas cochée; dans le cas contraire, seul le contenu du bon fichier sera pris en compte pour la génération du hachage.

8. Click Save. You will be redirected to Exact Data Match > Plugins page where you can see your configured plugin.

   

Configurer le partage EDM pour AWS S3

Une configuration de partage est utilisée pour partager les hachages EDM générés avec la plate-forme de destination. Pour partager les hachages EDM avec votre locataire Netskope, créez une configuration de partage en suivant ces étapes :

1. Allez à Exact Data Match > Sharing et cliquez sur Add Sharing Configuration.

   

2. Configurez les paramètres de partage :

   • Source Configuration: Select le plugin AWS S3 EDM configuré.
   • Destination Configuration: Select une destination où EDM Hash sera partagé.
   • Target: La valeur est automatiquement définie en fonction de la configuration de la destination sélectionnée.

   

3. Cliquez sur Save.

Valider le plugin AWS S3 EDM

Valider dans Cloud Exchange

Pour valider l’extraction du plugin configuré dans Cloud Exchange, allez sur Settings > Logging et recherchez les journaux du plugin AWS S3 EDM.

Vous pouvez vérifier le fonctionnement du plugin à partir des journaux disponibles sur Logging dans Cloud Exchange :

Vous pouvez également vérifier l’état de la génération de hachage et du hachage partagé généré à partir de Exact Data Match > Sharing and Upload Management.

Les valeurs d'état sont les suivantes :

• Scheduled: Indicates that the sharing has been configured, and the pull and push operations are waiting in the queue for processing.
• Generating Hash: Indicates that the hash generation process has started. This stage includes fetching > validating > sanitization (if enabled) > generating hash.
• Uploading Hash: Indicates that uploading the hash to the destination configuration has started.
• Upload Completed: Indique que les hachages sont téléchargés dans la configuration de destination.
• Checking Apply Status: Checking the apply status of hashes to the destination configuration.
• Apply In Progress: The hash process has started and is in progress on the destination.
• Completed: Indicates that the hash file has been pushed successfully to the destination configuration.
• Failed: Indicates that the final result of the action has failed to execute. The actions are Generating Hash/Uploading Hash/Checking Apply Status.

Les hachages EDM partagés peuvent être vérifiés à partir des journaux disponibles à l'adresse Logging dans Cloud Exchange :

Validate on the Netskope Tenant

Pour garantir la transmission des hachages de GED au locataire Netskope à partir du site Cloud Exchange:

1. On Netskope Tenant, go to Policies > DLP.

   

2. Cliquez sur Edit Rules et sélectionnez Data Loss Prevention.

   

3. On the Exact Match tab, a list of files is shown.

   

Dépannage du plugin AWS S3 EDM

Impossible de configurer le plugin AWS S3 EDM

Si vous ne parvenez pas à configurer le plugin EDM AWS S3, cela peut être dû à l’une des raisons suivantes :

• Les informations d'identification fournies sont incorrectes.
• Le rôle IAM ne dispose pas de l'autorisation de lire le fichier CSV.
• Problèmes de connectivité réseau entre Cloud Exchange et le serveur.
• L’objet S3 est chiffré avec une clé KMS AWS et le rôle IAM ne dispose pas des autorisations KMS requises.

What to do:

1. Vérifiez que les informations d'identification sont correctes.

2. Vérifiez les permissions de fichier sur le serveur.

3. Vérifiez la connectivité réseau entre Cloud Exchange et le serveur.

4. Check AWS KMS permissions: Si la validation ou la récupération de fichier échoue avec Access Denied malgré les permissions s3:ListBucket et s3:GetObject, vérifiez si l'objet S3 utilise le chiffrement AWS Key Management Service (SSE-KMS).

   • Ouvrez l'objet dans la console AWS S3 et accédez à Properties → Server-side encryption settings pour vérifier le type de chiffrement.
   • Sinon, exécutez la commande suivante à partir d’AWS CloudShell ou d’une machine sur laquelle l’interface de ligne de commande AWS est configurée :

     aws s3api head-object --bucket <bucket> --key <file-path>

   • Si ServerSideEncryption est aws:kms et SSEKMSKeyId identifie une clé gérée par le client, assurez-vous que le rôle IAM utilisé par le plugin dispose de la permission kms:Decrypt sur la clé et que la politique de clé autorise le rôle.
   • Pour une clé KMS dans un autre compte AWS, la politique IAM du rôle et la politique de clé du compte qui possède la clé doivent autoriser l'accès.
   • Si les autorisations KMS sont correctes, vérifiez les politiques de compartiment S3 pour les refus explicites et les politiques AWS Organizations applicables, car AWS peut renvoyer une erreur Access Denied générique sans identifier explicitement un problème d’autorisation KMS.

Fichier CSV introuvable ou accès refusé

Si vous recevez des messages d'erreur concernant un fichier non trouvé ou un accès refusé :

What to do:

1. Vérifiez que le chemin d'accès au fichier CSV est correct et que le fichier existe.
2. Assurez-vous que l'utilisateur dispose des droits de lecture pour le fichier.
3. Vérifiez que le fichier n'est pas verrouillé par un autre processus.
4. Vérifiez que le bucket S3 est accessible et que le rôle dispose des autorisations nécessaires pour accéder au bucket S3.

La génération de hachage échoue ou prend trop de temps

Si la génération de hachage échoue ou si les performances sont médiocres :

What to do:

1. Vérifiez l'espace disque disponible sur Cloud Exchange (assurez-vous d'avoir au moins 2x la taille du fichier CSV).
2. Réduisez la taille du fichier CSV ou divisez-le en plusieurs fichiers plus petits.
3. Désactivez l'assainissement s'il n'est pas nécessaire pour améliorer les performances.
4. Surveillez les ressources du système pendant le traitement.

Comportements connus

• L'assainissement peut réduire la vitesse de traitement d'environ 65% mais améliore la qualité des données.
• La création de dictionnaires est gourmande en ressources et ne doit être utilisée qu'en cas de nécessité.
• Le plugin crée des fichiers temporaires pendant le traitement qui sont automatiquement nettoyés.
• Des dépassements de délai de connexion SSH peuvent se produire avec des fichiers très volumineux ; envisagez d'augmenter les valeurs de délai.
• L’utilisation de la mémoire est proportionnelle à la taille du fichier CSV ; surveiller les ressources du système lors du traitement de gros fichiers. Pour l’espace disque de l’instance CE, consulter cette documentation.

Limitation

Each Netskope tenant has a limit of handling up to 5 staging files. If this maximum limit is reached, you may encounter the following error while sharing hashes:

EDM Netskope Exact données Match [EDM Netskope] Code de sortie 400 reçu, erreur survenue lors du téléchargement des hachages EDM de la configuration EDM AWS S3 vers la configuration EDM Netskope.

To resolve this error, you have to delete the existing files from staging.