Semantica S3
01Governa identità e ciclo di vita degli oggetti S3.
Una rotta Amazon S3 segue la semantica degli oggetti: bucket e prefissi definiscono l'ambito, il listing scopre il lavoro e i metadati aiutano a provare la consegna. Il progetto deve distinguere oggetti nuovi, modificati, duplicati, tardivi o elaborati solo in parte.
| Decisione | Approccio di integrazione |
|---|---|
| Le chiavi definiscono l'inventario | Definisci bucket, prefisso, regole di inclusione, metadati attesi e uso delle chiavi annidate. Listing troppo ampi generano lavoro inutile; una selezione esplicita rende l'intento revisionabile. |
| La ripartenza è per oggetto | Tratta ogni oggetto come unità recuperabile e stabilisci cosa avviene dopo timeout, stream interrotto o guasto della destinazione. La riconciliazione deve separare gli oggetti completati dal lavoro ritentabile in sicurezza. |
| Le versioni cambiano il contratto | Concorda naming delle chiavi, sovrascrittura o versionamento, metadati, content type, retention, archivio, quarantena e pulizia della sorgente. Queste scelte determinano come interpretare una consegna riuscita. |
| Autenticazione e accesso | Credenziali con access key e session token facoltativo; accesso anonimo in assenza di chiavi. Valida esplicitamente permessi bucket, regione ed endpoint compatibile S3. |
Progettazione della rotta Flower
02Trasforma lo stato degli oggetti in un piano di lavoro controllato.
L'adapter S3 offre a Flower le operazioni per ispezionare proprietà, leggere in streaming o per intervalli, copiare dati, gestire tier e percorrere un inventario delimitato. Il flusso decide come trasformarle in lavoro business sicuro.
Inventario prima del movimento
Listing e proprietà stabiliscono i candidati prima di spostare byte. Regole sui prefissi, metadati, dimensione ed evidenze pregresse consentono al planner di classificare lavoro nuovo, modificato, congelato, duplicato o già completato.
Adatta il percorso dei byte all'oggetto
Coordina oggetti piccoli, flussi multi-gigabyte, letture per intervalli e copie nello stesso servizio con percorsi adeguati al carico. Flower integra trasformazioni e validazione nella pipeline per allineare le consegne alle tue regole sui dati.
Prova la consegna prima della pulizia
Proprietà di destinazione, controlli d'integrità, lineage e riconciliazione chiudono l'unità di lavoro. Eliminazione o archivio della sorgente seguono queste prove; una validazione fallita passa invece a recovery o quarantena visibili.
Scelte di produzione S3
03Rendi esplicite le policy su versioni, prestazioni ed evidenze.
S3 scala abbastanza facilmente da nascondere a lungo un contratto impreciso. Il progetto di produzione deve comunque stabilire identità, parallelismo sicuro e prova che autorizza la pulizia distruttiva.
Policy su versioni ed eliminazioni
Decidi se l'identità business è la chiave, uno specifico version ID o l'ultimo oggetto visibile. Definisci sovrascrittura, delete marker, retention, lifecycle, archivio e replay prima della pulizia sorgente.
Concorrenza con un tetto di costo
Modella separatamente conteggio e volume in byte. Limita listing, trasferimenti, multipart, retry e traffico cross-region; allerta su età e backlog prima che uno storage economico generi un recovery costoso.
Evidenze di checksum e lineage
Costruisci le evidenze di consegna con l’algoritmo di checksum utilizzato, dimensione, chiave e versione dell’oggetto, identità della destinazione ed esito della validazione. Questi dettagli offrono ai team operativi una registrazione chiara e tracciabile di ogni passaggio.