Vernetzte Datenflüsse
01Der Connector-Name ist erst der Anfang des Entwurfs.
Verbinden Sie bestehende Systeme durch ein gemeinsames Orchestrierungs- und Verarbeitungsmodell. Flower integriert Planung, Transformation, Validierung, Wiederherstellung und Betriebsnachweise in einen zusammenhängenden Datenfluss.
Datenquellen anbinden
Klären Sie das Zusammenspiel von Auflistung, Pagination, Snapshots, Änderungs-Cursorn und gleichzeitiger Quellmutation. Die Route braucht eine dauerhafte Position und Regeln für während des Scans erstellte, geänderte, umbenannte oder gelöschte Objekte und Zeilen.
Daten an Ihre Ziele liefern
Prüfen Sie Atomarität, Meldung von Teilerfolg, Überschreib- oder Upsert-Verhalten, Sichtbarkeitsverzug und Idempotenz am Ziel. Definieren Sie den Abschlussnachweis und den Abgleich vor Wiederholung eines Writes mit Timeout.
Identität und Secret-Rotation entwerfen
Testen Sie Minimalrechte, Rotation von Zugangsdaten und Zertifikaten, Proxy- oder Privatnetzvorgaben und Ablauf bei langer Arbeit. Klären Sie, wie getrennte Runtimes Secrets beziehen und erneuern, ohne sie in Flows einzubetten oder Recovery zu blockieren.
Datenvertrag festlegen
Definieren Sie Schemaentwicklung, Typgenauigkeit, Nullverhalten, Zeitzonen, Zeichencodierung, Reihenfolge und Formatkonvertierung. Legen Sie kompatible Änderungen, Quarantänefälle und die Weitergabe des Validierungsnachweises mit transformierten Daten fest.
Verarbeitung und Netzpfade platzieren
Erfassen Sie, wo Bytes Regionen, öffentliche Netze, Gateways, Proxys oder Egress-Grenzen queren und wo Filterung, Aggregation, Kompression und Verschlüsselung laufen. Beziehen Sie Residenz, Latenz, Ausfallisolierung und Offline-Betrieb ein.
Lebenszyklussemantik abstimmen
Ordnen Sie Löschen, Umbenennen, Archivierung, Aufbewahrung, Legal Hold, Unveränderlichkeit, Zielersatz und Bereinigung zu. Der Transferentwurf ist erst vollständig, wenn Endpunkt-Lebenszyklen und Nachweise vor destruktiven Aktionen übereinstimmen.
Recovery-Nachweis mitführen
Verbinden Sie Quellidentität, Checkpoint, Transformation, Validierung, Zielergebnis, Versuche, Abgleich, Quarantäne und Endaktion in einer Spur. Warnungen sollen diese Kette zeigen statt getrennte Connector-Logs manuell zu korrelieren.
Durchsatz und Gesamtkosten testen
Messen Sie realistische Objektgrößen, Zeilenbatches, Parallelität, API-Quoten, Transaktionen, Kompression, Rückstandsabbau und Small-File-Effekte. Kalkulieren Sie Compute, Speicher, Requests, Egress, Gateways, Monitoring, Support und Betriebsarbeit gemeinsam.
Das bestehende Ökosystem verbinden
02Speicher und Übertragung
Nutzen Sie Cloud-Objektspeicher, HDFS, SMB-Freigaben, Dateidienste, sichere Protokolle, lokale Dateien und spezialisierte APIs als Quellen oder Ziele. Jede Route kann Planung, Wiederholungen, Abgleich, Validierung, Lineage, Lebenszyklusrichtlinien und proaktive Warnungen übernehmen, ohne diese Kontrollen für jeden Konnektor neu aufzubauen.
Erweitern Sie Routen um MinIO, Backblaze B2, Huawei Cloud OBS, Tencent Cloud COS, Volcano Engine TOS und UPYUN oder übertragen Sie Dateien mit Koofr und pCloud. Native Adapter integrieren private und regionale Speicher in denselben deklarativen Datenfluss mit gemeinsamer Orchestrierung, Verarbeitung und Betriebsübersicht.
Binden Sie Teamdateien mit Box, Egnyte, Files.com, ShareFile und Seafile in gesteuerte Datenflüsse ein. MongoDB GridFS ergänzt Streaming-Dateispeicherung mit nativen Metadaten und aufbewahrten Revisionen und verbindet Dokumentlieferungen mit demselben Orchestrierungs- und Verarbeitungsmodell.
Nutzen Sie bestehende Ordner und Team-Dateidienste als Quellen und Ziele. Flower verbindet Planung, Datensatzverarbeitung, Lieferprüfungen und Lebenszyklusrichtlinien und automatisiert wiederkehrende Aufgaben mit den bereits eingesetzten Werkzeugen.
Amazon S3
Objektspeicher
Mehr erfahren →Azure Blob
Objektspeicher
Mehr erfahren →Azure Files
Dateispeicher
Azure Data Lake
Data-Lake-Speicher
Google Cloud Storage
Objektspeicher
Mehr erfahren →Oracle Cloud
Objektspeicher
Alibaba OSS
Objektspeicher
OpenStack Swift
Objektspeicher
MinIO
Objektspeicher
Backblaze B2
Objektspeicher
Huawei Cloud OBS
Objektspeicher
Tencent Cloud COS
Objektspeicher
Volcano Engine TOS
Objektspeicher
UPYUN
Objektspeicher
Apache Hadoop HDFS
Verteiltes Dateisystem
Google Drive
Cloud-Laufwerk
Dropbox
Cloud-Laufwerk
Koofr
Cloud-Laufwerk
pCloud
Cloud-Laufwerk
Microsoft OneDrive
Cloud-Laufwerk
SharePoint libraries
Dokumentenbibliothek
Box
Native Dateien und Ordner
Egnyte
Native Dateien und Ordner
Files.com
Native Dateien und Ordner
ShareFile
Native Dateien und Ordner
Seafile
Dokumentenbibliothek
MongoDB GridFS
Dateispeicher in MongoDB
Databricks Volumes
Lakehouse-Speicher
App Store Connect
Reporting-API
SFTP / SSH
Sichere Übertragung
Mehr erfahren →FTP / FTPS
Dateiübertragung
WebDAV
Web-Speicher
HTTP / HTTPS
Web-Übertragung
SMB 2 / 3
Netzwerk-Dateifreigabe
Lokale Dateien
Gerätespeicher
IMAP
E-Mail-Quelle
03Datenbanken und Abfrage-Engines
Verbinden Sie Snowflake, transaktionale Datenbanken, Analyse-Engines, Warehouses, Lakehouses, verteilte Datenbanken und SQL-Protokolle über ein gemeinsames Orchestrierungsmodell. Flower unterstützt gesteuerte Lese- und Schreibvorgänge sowie explizite Transaktionen mit Integritätsprüfungen und Betriebsnachweisen im Datenfluss.
Integrieren Sie operative SQL-Daten in denselben kontrollierten Datenfluss. Flower bietet native Adapter für Firebird und Huawei GaussDB, bindet MariaDB über den MySQL-Adapter sowie CockroachDB über PostgreSQL-Kompatibilität an. Diese Verbindungen unterstützen Lesen, Schreiben und explizite Transaktionen; der Firebird-Client benötigt keine separat installierte native Client-Bibliothek.
Kombinieren Sie SQL-Extraktion, Laden und Validierung in einem deklarativen Datenfluss. Nutzen Sie gemeinsame Planung, Zugangsdatenverwaltung und Überwachung für operative und analytische Systeme, passend zu Ihrer bestehenden Datenbankarchitektur.
Für ODBC-standardisierte Umgebungen bietet Flower backendgerechten Zugriff auf die Datenbank seines Anwendungszustands sowie ODBC-Datenanbindung. SQL-Profile decken PostgreSQL, GaussDB, CockroachDB, MySQL, Microsoft SQL Server und SQLite ab und nutzen die bestehende Datenbank- und Treiberinfrastruktur.
PostgreSQL
SQL-Datenbank
Mehr erfahren →MySQL
SQL-Datenbank
Mehr erfahren →Microsoft SQL Server
SQL-Datenbank
Mehr erfahren →Oracle Database
SQL-Datenbank
Mehr erfahren →SQLite
Eingebettete Datenbank
ClickHouse
Analytische Datenbank
Databricks SQL
Lakehouse-Speicher
Snowflake
Cloud-Datenplattform
SAP HANA
SQL-Datenbank
Cloud Spanner
Verteilte Datenbank
Trino
Abfrage-Engine
Presto
Abfrage-Engine
Exasol
Analytische Datenbank
Vertica
Analytische Datenbank
IBM Netezza
Data Warehouse
Arrow Flight SQL
Abfrageprotokoll
ODBC / Avatica
Generischer SQL-Zugriff
Firebird
SQL-Datenbank
Huawei GaussDB
SQL-Datenbank
MariaDB
SQL über MySQL-Kompatibilität
CockroachDB
Verteiltes SQL über PostgreSQL
05KI und lokale Klassifikation
Reichern Sie Datensätze im Datenfluss an und klassifizieren Sie sie. Flower bindet OpenAI und Anthropic Claude für strukturierte Transformationen ein, bietet optionale lokale GGUF-Inferenz mit llama.cpp und nutzt ONNX für lokale Text- und Zero-Shot-Klassifikation. Wählen Sie den Verarbeitungsort nach Vertraulichkeit, Hardware und Kosten.
Steuern Sie die an externe Modelle übermittelten Felder und definieren Sie das Ausgabeschema in der Konfiguration. Flower koordiniert Anfragen, bewahrt die Datensatzreihenfolge und wendet Ihre Richtlinien an. So wird KI-Anreicherung Teil desselben gesteuerten Ablaufs wie Validierung, Transformation und Lieferung.
Semantische Filter nutzen OpenAI, Claude oder lokale GGUF-Modelle, um Datensätze nach natürlichsprachlichen Kriterien auszuwählen. Behalten oder entfernen Sie Treffer unter Wahrung von Feldern, Werten und Reihenfolge. Feldauswahl, Verarbeitungsrichtlinien und Metriken machen diese Entscheidungen zum Teil eines beobachtbaren, konfigurierbaren Datenflusses.
Klassifizieren Sie Texte lokal mit ONNX-Modellen und ergänzen Sie Datensätze um Klassen und Wertungen oder nutzen Sie Kategorien zum Filtern. Wählen Sie Modell und Tokenizer passend zu Sprachen und Daten. Flower führt die Klassifikation ohne ONNX-Runtime-Bibliothek direkt in Datennähe aus.
Wählen Sie optionale lokale GGUF-Inferenz mit llama.cpp für Sprachmodellverarbeitung in Ihrer Infrastruktur. Flower lädt das Modell bei Bedarf und führt die Inferenz im Runtime-Prozess aus. Transformationen und semantische Filter bleiben nah an den Daten, mit direkter Kontrolle über Modellwahl und Ausführung.
Erkennen Sie wahrscheinliche Personennamen lokal mit einem eingebetteten Wörterbuch. Kennzeichnen oder filtern Sie Datensätze mit konfigurierbaren Bewertungsschwellen und Richtlinien. Die Verarbeitung bleibt in Flower, ohne externe Modellaufrufe oder Modelldownloads.
OpenAI
Strukturierte Modellantworten
Anthropic Claude
Strukturierte Modellantworten
llama.cpp / GGUF
Optionale lokale Sprachmodell-Inferenz
ONNX
Lokale Text- und Zero-Shot-Klassifikation
Erkennung von Personennamen
Lokale wörterbuchbasierte Klassifikation
06Secrets und Zertifikate
Führen Sie Geheimnisse und Zertifikate aus Cloud-Vaults, Cluster-Speichern, verschlüsselten Dateien oder lokalen Verzeichnissen in einer einheitlichen Konfiguration zusammen. Flower erstellt vor dem Start abhängiger Komponenten einen konsistenten, schreibgeschützten Konfigurationsstand und integriert sichere Konfiguration in den Lebenszyklus der Datenflüsse.
Azure Key Vault
Cloud-Secrets und -Zertifikate
Google Cloud Secret Manager
Cloud-Secrets und -Zertifikate
AWS Secrets Manager + KMS
Secret Manager und Schlüsseldienst
AWS Systems Manager Parameter Store
Verwalteter Parameterspeicher
Oracle Cloud Infrastructure Vault
Cloud-Vault und Secrets
HashiCorp Vault / OpenBao
Enterprise-Vault für Secrets
Alibaba Cloud KMS Secrets Manager
Cloud-Secrets und -Zertifikate
Huawei Cloud CSMS
Cloud-Secrets und -Zertifikate
IBM Cloud Secrets Manager
Cloud-Secrets und -Zertifikate
Kubernetes Secrets
Secret-Speicher des Clusters
SOPS encrypted files
Verschlüsselte Konfigurationsdateien
Lokale Dateien
Begrenzte lokale Secret-Quelle
07Optionale Verarbeitungs-Runtimes
Standardabläufe in Flower sind deklarativ und benötigen keine Programmierung. Optionale Laufzeiten für JavaScript, Lua, WebAssembly, Starlark und AWK ergänzen individuelle Verarbeitung direkt im Datenfluss, ohne externen Rechendienst. Starlark unterstützt deterministische Regeln, AWK verarbeitet Text-, CSV- und TSV-Datensätze.
JavaScript
JavaScript-Verarbeitung
Lua
Isolierte Lua-Laufzeit
WebAssembly
Isolierte WebAssembly-Module
Starlark
Deterministische Regelverarbeitung
AWK
Verarbeitung von Text, CSV und TSV
08Formate in Bewegung
Dekodieren, transformieren, aggregieren, validieren, verschlüsseln, komprimieren, transkodieren und kodieren Sie Betriebs- und Analyseformate während der Übertragung neu. Verarbeiten Sie Daten in Bewegung und liefern Sie die benötigte Form ohne eine unnötige Kette externer Dienste.
Integrieren Sie Tabellenlieferungen in denselben Datenfluss wie Dateien und Datenbanken. Neben Excel liest Flower OpenDocument Spreadsheet (ODS) und erstellt ODS-1.3-Arbeitsmappen. Wählen Sie Blatt und Zellbereich, ordnen Sie Spalten zu und prüfen Sie Überschriften. Überführen Sie Datensätze anschließend in CSV, JSON, Parquet oder ein anderes unterstütztes Ziel. Die Verarbeitung läuft direkt in Flower, ohne Office-Anwendung.
Für ODS-Formeln wählen Sie gespeicherte Ergebnisse, ursprüngliche Ausdrücke oder eine OpenFormula-Neuberechnung passend zum Datenfluss. Integrieren Sie Tabellenwerte und Formelergebnisse mit demselben deklarativen Verarbeitungsmodell in Validierung, Transformation und analytische Lieferung.
Schützen Sie Tabellenübertragungen mit passwortbasierter ODS-Verschlüsselung. Flower unterstützt AES-CBC und AES-GCM für Ein- und Ausgaben und integriert Datenschutz in denselben deklarativen Ablauf wie Verarbeitung und Lieferung.
CSV
Format in Bewegung
JSON
Format in Bewegung
Avro
Format in Bewegung
Parquet
Format in Bewegung
Excel
Format in Bewegung
ODS
OpenDocument-Tabellen
XML
Format in Bewegung
CBOR
Format in Bewegung
MessagePack
Format in Bewegung
Fixed-width
Format in Bewegung