Configurar a ingestão

Depois de instalar, o datalake ainda está vazio — nenhum banco está marcado. Esta é a configuração mínima para o primeiro dado chegar.

O pipeline não falha por falta de configuração

Sem nenhum banco marcado, o snapshot é exportado, os Parquet chegam ao S3 e o job de cópia os ignora em silêncio. A execução termina com sucesso e o datalake continua vazio. A visão geral do console lista o que ainda falta.

1. Escolher as origens

Em Origens, ligue o recebimento de eventos de snapshot e marque quais clusters alimentam o datalake. Você escolhe se quer snapshots automáticos, manuais, ou os dois.

2. Rodar o primeiro snapshot

Aqui há uma ordem que surpreende: o primeiro snapshot serve só para revelar a estrutura. A lista de bancos e tabelas vem do próprio export, não de uma conexão com o banco — é isso que dispensa credenciais e acesso de rede à origem. O preço é que o Data Pump só sabe o que existe depois de ver um export.

Espere a janela de backup, ou tire um snapshot manual para não esperar.

3. Escolher os bancos

Em Bancos, os bancos encontrados no export aparecem para marcar. Só o que for marcado é ingerido.

Renomear no datalake

Cada banco marcado mostra o nome que ele terá no datalake — clique para trocar. O nome do banco é o prefixo das tabelas catalogadas: com o apelido vendas, a tabela payment vira vendas.payment.

O mesmo vale por tabela: abra Escolher tabelas e cada tabela mostra o nome de destino, também clicável. É como tb_pgto vira pagamentos.

Filtrar tabelas

A lista de tabelas tem dois comportamentos, e a diferença aparece quando uma tabela nova surge no banco:

Modo	A lista guarda	Tabela nova
Exclusão	o que não entra	é ingerida sozinha
Inclusão	o que entra	fica de fora até ser marcada

Escolha pelo que muda menos: quem quer o banco quase inteiro usa exclusão e não precisa mexer quando uma tabela aparece; quem quer poucas tabelas usa inclusão e fica protegido de ingerir algo inesperado.

4. Conferir

No próximo snapshot, o pipeline roda completo. Em Execuções você vê cada etapa e quais tabelas foram atualizadas; em Datalake, as tabelas catalogadas, com colunas e contagem de linhas.

Se algo não chegou, veja quando algo falha.

Reprocessar sem esperar

Um export que já está no S3 pode ser reingerido sem tirar snapshot novo. Em Extrações, cada export tem a ação de reprocessar — útil depois de mudar apelidos, filtros ou partições.