01Esplora la policy di recupero
- 01SorgenteAmazon S3
CSV · gzip - 02Valida, filtra, aggrega e trasformaFlower
CSV → Parquet - 03DestinazioneAzure Blob
Parquet
SorgenteAmazon S3
DestinazioneAzure BlobIl campione supera la validazione e viene convertito in Parquet. L’illustrazione mostra la consegna completata; i controlli effettivi dipendono da endpoint e trasformazione configurati.
Un guasto temporaneo a destinazione sospende la consegna. Le operazioni ripetibili seguono tentativi e attese limitati. Ripristina la destinazione per esplorare il recupero; le policy esaurite richiedono intervento.
Il campione contiene un record non valido. Questo scenario isola l’intero file sorgente e blocca la consegna. Riprovare senza correggere i dati non risolverebbe l’errore di validazione.
La destinazione è di nuovo disponibile e l’operazione ripetibile si completa. La pulizia della sorgente resta una scelta configurata separatamente. La sequenza è illustrativa, non un tempo di recupero misurato.
02Cosa verificare nel tuo ambiente
| Scenario | Verifica di accettazione |
|---|---|
| Consegna regolare | Verifica che il risultato Parquet sia leggibile e rispetti lo schema concordato e i record attesi dopo la trasformazione. |
| Guasto temporaneo | Rendi temporaneamente indisponibile la destinazione. Osserva tentativi e attese limitati per le operazioni ripetibili, poi verifica la segnalazione quando la policy di retry è esaurita. |
| File non valido | Invia un file con un record che viola una regola di validazione. Verifica che l’intero file sorgente sia isolato in quarantena, con il motivo dell’errore, e che i dati non validi non siano consegnati a valle. |
| Recuperato entro la policy di retry | Ripristina la destinazione entro la finestra di retry e verifica il risultato completato. Controlla la conservazione o pulizia della sorgente secondo la policy configurata separatamente. |
03Dall’illustrazione a un flusso di produzione
Per lo scenario da S3 ad Azure, concorda permessi, decompressione, schema CSV, validazione, mapping Parquet e quarantena. Testa i guasti temporanei separatamente dai dati malformati. La verifica di completamento dipende dal percorso di copia e dalle capacità del provider; i dati trasformati richiedono un controllo del risultato, non la presunta uguaglianza dei byte sorgente.