Lab : Automatisation du tagging avec AWS S3 Batch

Objectif

Ce laboratoire a pour but d’explorer Amazon S3 Batch Operations, un service qui permet d’appliquer des actions en masse sur un ensemble d’objets stockés dans Amazon S3. À travers cet exercice, vous apprendrez à automatiser l’ajout de balises (tags) sur plusieurs objets à l’aide de ce service.

À l’issue de ce laboratoire, vous serez en mesure de :

• Générer et téléverser plusieurs fichiers dans un bucket S3.
  
  
• Créer un fichier manifeste listant les objets à traiter.
  
  
• Configurer et exécuter une tâche S3 Batch Operations pour appliquer des modifications en masse.
  
  
• Vérifier l’application des tags sur les objets S3.
  
  

Prérequis

Avant de commencer, assurez-vous de disposer des éléments suivants :

• Un compte AWS avec les permissions suivantes :
  
  
  • s3:ListBucket
    
    
  • s3:PutObject
    
    
  • s3:PutObjectTagging
    
    
• AWS CloudShell (optionnel, mais utile pour certaines vérifications).
  
  
• Un éditeur de texte pour manipuler les fichiers CSV.
  
  

Étape 1 : Création d’un Bucket S3

• Connectez-vous à la console AWS et accédez au service Amazon S3.
  
  
• Cliquez sur Créer un bucket et configurez les paramètres suivants :
  
  
• Nom du bucket : s3-batch-lab-bucket-amadou (ajoutez votre prénom pour garantir l’unicité).
  
  

• Région : Sélectionnez eu-west-1 (Irlande).
  
  
• Conservez les paramètres par défaut et finalisez la création du bucket.
  
  

Étape 2 : Génération et Téléversement des Fichiers dans S3

Nous allons générer plusieurs fichiers texte simulant des objets stockés dans S3.

1. Génération de fichiers

Dans AWS CloudShell, exécutez la commande suivante pour créer 10 fichiers texte localement :

for i in {1..10}; do echo "Contenu du fichier $i" > file$i.txt; done

2. Téléversement des fichiers vers S3

Transférez ces fichiers dans le bucket S3 :

aws s3 sync . s3://s3-batch-lab-bucket-amadou/ --exclude "*" --include "file*"

3. Vérification du téléversement

Listez les fichiers dans le bucket pour confirmer leur présence :

aws s3 ls s3://s3-batch-lab-bucket-amadou/

Étape 3 : Création du Fichier Manifeste

AWS S3 Batch Operations utilise un fichier manifeste pour identifier les objets à traiter.

1. Génération automatique du fichier manifeste

aws s3 ls s3://s3-batch-lab-bucket-amadou/ --recursive | awk '{print "s3-batch-lab-bucket-amadou,"$4}' > manifest.csv

2. Téléversement du manifeste dans S3

aws s3 cp manifest.csv s3://s3-batch-lab-bucket-amadou/

Étape 4 : Création d’un Rôle IAM pour AWS S3 Batch Operations

1. 1. Accédez à AWS IAM via la console.
      
      
   2. Dans le menu de gauche, cliquez sur Rôles, puis sur Créer un rôle S3BatchDemosRole.
      
      
   3. Sélectionnez AWS Service comme type d’entité de confiance, puis choisissez S3 Batch Operations.
   4. Cliquez sur Suivant et attachez la politique gérée AmazonS3FullAccess.
   5. Nommez le rôle S3BatchOperationsRole et finalisez la création.
      
      

Étape 5 : Configuration et Exécution d’une Tâche AWS S3 Batch Operations

1. Accédez à Amazon S3 Batch Operations via la console AWS.
   
   
2. Cliquez sur Créer une tâche, puis configurez les paramètres suivants :
   
   

Type de manifeste : Sélectionnez Amazon S3 et fournissez l’URL du fichier manifeste :

s3://s3-batch-lab-bucket-amadou/manifest.csv

• Action à exécuter : Choisissez Remplacer toutes les balises d’objet.
  
  
• Définition des balises :

• • Clé : Project

• • Valeur : LCF

• • • Rapport de complétion :
      • Activé

• Destination : s3-batch-lab-bucket-amadou

• Rôle IAM : Sélectionnez S3BatchOperationsRole.
  
  
• Validez et lancez la tâche.
  
  

Étape 6 : Suivi et Vérification de l’Opération

1. Vérification via la Console AWS

• Accédez à Amazon S3, ouvrez le bucket et sélectionnez un fichier.
  
  
• Dans l’onglet Balises, vérifiez que la nouvelle balise a bien été ajoutée.
  
  

2. Vérification via AWS CLI

Exécutez la commande suivante pour afficher les balises d’un objet :

aws s3api get-object-tagging --bucket s3-batch-lab-bucket-amadou --key file1.txt

Résultat attendu :

{

    “TagSet”: [

        {

            “Key”: “Project”,

            “Value”: “S3-Batch-Lab”

        }

    ]

}

Étape 7 : Nettoyage des Ressources

Si vous ne souhaitez pas conserver les ressources créées, vous pouvez les supprimer.

1. Suppression des fichiers et du bucket S3

aws s3 rm s3://s3-batch-lab-bucket-amadou/ --recursive

aws s3 rb s3://s3-batch-lab-bucket-amadou --force

2. Suppression du rôle IAM

aws iam detach-role-policy --role-name S3BatchOperationsRole --policy-arn arn:aws:iam::aws:policy/AmazonS3FullAccess

aws iam delete-role --role-name S3BatchOperationsRole

Conclusion

Ce laboratoire vous a permis d’explorer AWS S3 Batch Operations en automatisant l’ajout de balises sur un grand nombre d’objets stockés dans S3. Vous avez appris à :
✔ Générer et stocker des fichiers dans S3.
✔ Créer un fichier manifeste pour référencer les objets.
✔ Configurer une tâche S3 Batch Operations.
✔ Vérifier les modifications appliquées.

Vous pouvez maintenant appliquer ces concepts à des scénarios plus complexes, tels que la modification des permissions d’objets ou la copie massive de fichiers entre buckets.