01Integre ficheiros dos parceiros
Receba entregas recorrentes, verifique os ficheiros esperados e isole entradas inválidas antes do consumo.
- SFTP / S3
- Flower
- Quarantine / Lake
| Limite a acordar | Teste de aceitação |
|---|---|
| Nomes, completude e janela de chegada | Entregue um ficheiro válido, um incompleto e um duplicado. Verifique cada resultado acordado. |
| Retenção da origem e responsável pela quarentena | Rejeite um ficheiro malformado; corrija-o e reprocesse-o sob controlo antes de ativar a limpeza. |
02Prepare dados durante a transferência
Descodifique, filtre, agregue e converta formatos perto da origem e entregue o resultado à plataforma analítica.
Acorde esquema, campos obrigatórios, precisão e chaves de agregação. A conversão altera os bytes: o checksum da origem não prova a correção do resultado. Compare contagens e totais de negócio e leia o resultado com o consumidor previsto.
- CSV / gzip
- Validate → transform
- Parquet
03Ligue ambientes sob o seu controlo
Opere entre redes privadas, clouds e nós edge com limites explícitos de recuperação, credenciais e retenção.
Escolha onde executar o Flower e que credenciais recebe. Teste separadamente perda de rede, credencial expirada e capacidade esgotada. Repita apenas operações seguras; uma entrega incerta pode exigir reconciliação.
- Private / cloud / edge
- Flower
- Private / cloud / edge