Routenqualifizierung
01Der Connector-Name ist erst der Anfang des Entwurfs.
Zwei Produkte können denselben Endpunkt aufführen und dennoch andere Garantien, Fehlergrenzen, Sicherheitsabhängigkeiten und Kosten haben. Qualifizieren Sie die gesamte Quell-Ziel-Route, bevor Katalogabdeckung als produktionsreif gilt.
Lesegrenze bestimmen
Klären Sie das Zusammenspiel von Auflistung, Pagination, Snapshots, Änderungs-Cursorn und gleichzeitiger Quellmutation. Die Route braucht eine dauerhafte Position und Regeln für während des Scans erstellte, geänderte, umbenannte oder gelöschte Objekte und Zeilen.
Schreibgrenze bestimmen
Prüfen Sie Atomarität, Meldung von Teilerfolg, Überschreib- oder Upsert-Verhalten, Sichtbarkeitsverzug und Idempotenz am Ziel. Definieren Sie den Abschlussnachweis und den Abgleich vor Wiederholung eines Writes mit Timeout.
Identität und Secret-Rotation entwerfen
Testen Sie Minimalrechte, Rotation von Zugangsdaten und Zertifikaten, Proxy- oder Privatnetzvorgaben und Ablauf bei langer Arbeit. Klären Sie, wie getrennte Runtimes Secrets beziehen und erneuern, ohne sie in Flows einzubetten oder Recovery zu blockieren.
Datenvertrag festlegen
Definieren Sie Schemaentwicklung, Typgenauigkeit, Nullverhalten, Zeitzonen, Zeichencodierung, Reihenfolge und Formatkonvertierung. Legen Sie kompatible Änderungen, Quarantänefälle und die Weitergabe des Validierungsnachweises mit transformierten Daten fest.
Verarbeitung und Netzpfade platzieren
Erfassen Sie, wo Bytes Regionen, öffentliche Netze, Gateways, Proxys oder Egress-Grenzen queren und wo Filterung, Aggregation, Kompression und Verschlüsselung laufen. Beziehen Sie Residenz, Latenz, Ausfallisolierung und Offline-Betrieb ein.
Lebenszyklussemantik abstimmen
Ordnen Sie Löschen, Umbenennen, Archivierung, Aufbewahrung, Legal Hold, Unveränderlichkeit, Zielersatz und Bereinigung zu. Der Transferentwurf ist erst vollständig, wenn Endpunkt-Lebenszyklen und Nachweise vor destruktiven Aktionen übereinstimmen.
Recovery-Nachweis mitführen
Verbinden Sie Quellidentität, Checkpoint, Transformation, Validierung, Zielergebnis, Versuche, Abgleich, Quarantäne und Endaktion in einer Spur. Warnungen sollen diese Kette zeigen statt getrennte Connector-Logs manuell zu korrelieren.
Durchsatz und Gesamtkosten testen
Messen Sie realistische Objektgrößen, Zeilenbatches, Parallelität, API-Quoten, Transaktionen, Kompression, Rückstandsabbau und Small-File-Effekte. Kalkulieren Sie Compute, Speicher, Requests, Egress, Gateways, Monitoring, Support und Betriebsarbeit gemeinsam.
Das bestehende Ökosystem verbinden
02Speicher und Übertragung
Nutzen Sie Cloud-Objektspeicher, HDFS, IPFS, SMB-Freigaben, Dateidienste, sichere Protokolle, lokale Dateien und spezialisierte APIs als Quellen oder Ziele. Jede Route kann Planung, Wiederholungen, Abgleich, Validierung, Lineage, Lebenszyklusrichtlinien und proaktive Warnungen übernehmen, ohne diese Kontrollen für jeden Konnektor neu aufzubauen.
Amazon S3
Objektspeicher
Mehr erfahren →
Azure Blob
Objektspeicher
Mehr erfahren →Azure Files
Dateispeicher
Azure Data Lake
Data-Lake-Speicher
Google Cloud Storage
Objektspeicher
Mehr erfahren →
Oracle Cloud
Objektspeicher
Alibaba OSS
Objektspeicher
OpenStack Swift
Objektspeicher
Apache Hadoop HDFS
Verteiltes Dateisystem
IPFS
Inhaltsadressierter Speicher
Google Drive
Cloud-Laufwerk
Dropbox
Cloud-Laufwerk
Microsoft OneDrive
Cloud-Laufwerk
SharePoint libraries
Dokumentenbibliothek
Databricks Volumes
Lakehouse-Speicher
App Store Connect
Reporting-API
SFTP / SSH
Sichere Übertragung
Mehr erfahren →FTP / FTPS
Dateiübertragung
TFTP
Dateiübertragung
WebDAV
Web-Speicher
HTTP / HTTPS
Web-Übertragung
SMB 2 / 3
Netzwerk-Dateifreigabe
Lokale Dateien
Gerätespeicher
IMAP
E-Mail-Quelle
03Datenbanken und Abfrage-Engines
Verbinden Sie Snowflake, transaktionale Datenbanken, Analyse-Engines, Warehouses, Lakehouses, verteilte Datenbanken und generische SQL-Protokolle ohne Anbieterbindung. Snowflake-Routen unterstützen Lesen, Schreiben und explizite Transaktionen; qualifizieren Sie DML-Volumen und Ladestrategie für jeden Workload. Flower erhält Integritätsprüfungen und operative Nachweise bei der Übergabe, damit die Bewegung als ein durchgängiger Pfad gesteuert werden kann.
PostgreSQL
SQL-Datenbank
Mehr erfahren →
MySQL
SQL-Datenbank
Mehr erfahren →
Microsoft SQL Server
SQL-Datenbank
Mehr erfahren →Oracle Database
SQL-Datenbank
Mehr erfahren →
SQLite
Eingebettete Datenbank
ClickHouse
Analytische Datenbank
Databricks SQL
Lakehouse-Speicher
Snowflake
Cloud-Datenplattform
SAP HANA
SQL-Datenbank
Cloud Spanner
Verteilte Datenbank
Trino
Abfrage-Engine
Presto
Abfrage-Engine
Exasol
Analytische Datenbank
Vertica
Analytische Datenbank
IBM Netezza
Data Warehouse
Arrow Flight SQL
Abfrageprotokoll
ODBC / Avatica
Generischer SQL-Zugriff
04Secrets und Zertifikate
Lösen Sie Secrets und Zertifikate aus Cloud-Vaults, Cluster-Speichern, verschlüsselten Dateien oder einem begrenzten lokalen Verzeichnis auf, bevor abhängige Komponenten starten. Flower veröffentlicht erst nach dem Laden aller erforderlichen Quellen einen schreibgeschützten Konfigurations-Snapshot, sodass ein fehlender Wert den Start stoppt und nicht mitten im Datenfluss auftritt.
Azure Key Vault
Cloud-Secrets und -Zertifikate
Google Cloud Secret Manager
Cloud-Secrets und -Zertifikate
AWS Secrets Manager + KMS
Secret Manager und Schlüsseldienst
AWS Systems Manager Parameter Store
Verwalteter Parameterspeicher
Oracle Cloud Infrastructure Vault
Cloud-Vault und Secrets
HashiCorp Vault / OpenBao
Enterprise-Vault für Secrets
Alibaba Cloud KMS Secrets Manager
Cloud-Secrets und -Zertifikate
Huawei Cloud CSMS
Cloud-Secrets und -Zertifikate
IBM Cloud Secrets Manager
Cloud-Secrets und -Zertifikate
Kubernetes Secrets
Secret-Speicher des Clusters
SOPS encrypted files
Verschlüsselte Konfigurationsdateien
Lokale Dateien
Begrenzte lokale Secret-Quelle
05Optionale Verarbeitungs-Runtimes
Standard-Flows in Flower bleiben deklarativ und erfordern keine Programmierung. Benötigt eine Route eigenes Verhalten oder eigene Verarbeitung, erweitern die optionalen Runtimes JavaScript, Lua, WebAssembly, Starlark und AWK die Flower-Funktionen ohne externen Compute-Dienst. Starlark und AWK erzwingen konfigurierte Ausführungs- und Datenbudgets: Starlark unterstützt deterministische Regellogik, während AWK Text-, CSV- und TSV-Datensätze in Bewegung verarbeitet.
JavaScript
Begrenzte JavaScript-Laufzeit
Lua
Isolierte Lua-Laufzeit
WebAssembly
Isolierte WebAssembly-Module
Starlark
Deterministische begrenzte Runtime
AWK
Begrenzte Runtime für Text, CSV und TSV
06Formate in Bewegung
Dekodieren, transformieren, aggregieren, validieren, verschlüsseln, komprimieren, transkodieren und kodieren Sie Betriebs- und Analyseformate während der Übertragung neu. Verarbeiten Sie Daten in Bewegung und liefern Sie die benötigte Form ohne eine unnötige Kette externer Dienste.
CSV
Format in Bewegung
JSON
Format in Bewegung
Avro
Format in Bewegung
Parquet
Format in Bewegung
Excel
Format in Bewegung
XML
Format in Bewegung
CBOR
Format in Bewegung
MessagePack
Format in Bewegung
Fixed-width
Format in Bewegung