01Explorer la politique de reprise
- 01SourceAmazon S3
CSV · gzip - 02Valider, filtrer, agréger et transformerFlower
CSV → Parquet - 03DestinationAzure Blob
Parquet
SourceAmazon S3
DestinationAzure BlobL’échantillon passe la validation et est converti en Parquet. L’illustration montre la livraison terminée ; les contrôles réels dépendent de l’endpoint et de la transformation configurés.
Une panne temporaire à destination suspend la livraison. Les opérations sûres suivent des tentatives et délais bornés. Rétablissez la destination pour explorer la reprise ; une politique épuisée nécessite une intervention.
L’échantillon contient un enregistrement invalide. Ce scénario isole le fichier source entier et bloque la livraison. Relancer les mêmes données ne corrigerait pas l’erreur de validation.
La destination est de nouveau disponible et l’opération répétable se termine. Le nettoyage source reste une décision distincte. Cette séquence est illustrative, pas un temps de reprise mesuré.
02À vérifier dans votre environnement
| Scénario | Contrôle d’acceptation |
|---|---|
| Livraison normale | Vérifiez que le résultat Parquet est lisible et respecte le schéma convenu et les enregistrements attendus après transformation. |
| Panne temporaire | Rendez la destination temporairement indisponible. Observez les tentatives et délais bornés pour les opérations répétables, puis vérifiez l’escalade lorsque la politique est épuisée. |
| Fichier invalide | Soumettez un fichier contenant un enregistrement qui enfreint une règle. Vérifiez la mise en quarantaine du fichier entier avec le motif de l’échec et l’absence de livraison des données invalides. |
| Reprise dans les limites de la politique | Rétablissez la destination dans la fenêtre de reprise et vérifiez le résultat final. Contrôlez la conservation ou le nettoyage de la source selon sa politique distincte. |
03De l’illustration au flux de production
Pour S3 vers Azure, convenez des permissions, de la décompression, du schéma CSV, des règles, du mapping Parquet et de la quarantaine. Testez les pannes séparément des données malformées. La vérification dépend du chemin de copie et du fournisseur ; les données transformées exigent un contrôle du résultat.