01Recovery-Regeln erkunden
- 01QuelleAmazon S3
CSV · gzip - 02Prüfen, filtern, aggregieren und transformierenFlower
CSV → Parquet - 03ZielAzure Blob
Parquet
QuelleAmazon S3
ZielAzure BlobDie Beispieldaten bestehen die Prüfung und werden in Parquet umgewandelt. Die Illustration zeigt die Lieferung; tatsächliche Abnahmeprüfungen hängen von Endpunkt und Transformation ab.
Ein temporärer Zielfehler pausiert die Lieferung. Sicher wiederholbare Arbeit folgt begrenzten Versuchen und Wartezeiten. Stellen Sie das Ziel wieder her; erschöpfte Regeln erfordern einen Eingriff.
Die Beispieldaten enthalten einen ungültigen Datensatz. Dieses Szenario isoliert die ganze Quelldatei und blockiert die Lieferung. Eine Wiederholung unveränderter Daten behebt den Fehler nicht.
Das Ziel ist wieder verfügbar und die wiederholbare Operation wird abgeschlossen. Die Quellbereinigung bleibt separat konfiguriert. Dies ist eine Illustration, keine gemessene Wiederherstellungszeit.
02Was in Ihrer Umgebung zu prüfen ist
| Szenario | Abnahmeprüfung |
|---|---|
| Normale Lieferung | Prüfen Sie, ob die Parquet-Ausgabe lesbar ist und nach der Transformation dem vereinbarten Schema und den erwarteten Datensätzen entspricht. |
| Temporärer Ausfall | Machen Sie das Ziel vorübergehend unerreichbar. Prüfen Sie begrenzte Versuche und Wartezeiten für sicher wiederholbare Operationen sowie die Eskalation nach Ausschöpfen der Regeln. |
| Ungültige Datei | Übergeben Sie eine Datei mit einem regelwidrigen Datensatz. Prüfen Sie die Quarantäne der gesamten Quelldatei mit Fehlergrund und dass ungültige Daten nicht weitergegeben werden. |
| Innerhalb der Wiederholungsregeln wiederhergestellt | Stellen Sie das Ziel innerhalb des Wiederholungsfensters wieder her und prüfen Sie die fertige Ausgabe. Kontrollieren Sie Aufbewahrung oder Bereinigung der Quelle anhand ihrer separat konfigurierten Regeln. |
03Von der Illustration zum Produktivfluss
Vereinbaren Sie für S3 nach Azure Berechtigungen, Dekomprimierung, CSV-Schema, Prüfregeln, Parquet-Mapping und Quarantäne. Testen Sie Ausfälle getrennt von fehlerhaften Daten. Abschlussprüfungen hängen von Kopierpfad und Anbieter ab; transformierte Daten benötigen eine Ergebnisprüfung statt eines angenommenen Byte-Abgleichs.