Requisitos
O Data Pump roda inteiro na sua conta AWS. Três coisas precisam existir antes da instalação.
Vale levantar isso antes do handoff: a VPC, o bucket e as contas de origem entram no template do seu pacote, e mudá-los depois exige um pacote novo. Veja o handoff.
Uma VPC com subnets privadas
Seção intitulada “Uma VPC com subnets privadas”Os jobs rodam como tasks Fargate em subnets privadas, e o console fica atrás de um load balancer interno. As subnets precisam de saída para a internet — por NAT Gateway ou VPC endpoints — para alcançar S3, DynamoDB, ECR e os endpoints da AWS.
Se você usa VPC endpoints em vez de NAT, precisa de: s3 (gateway),
dynamodb (gateway), e os de interface para ecr.api, ecr.dkr, logs,
sts e secretsmanager.
Um cluster RDS com snapshots
Seção intitulada “Um cluster RDS com snapshots”O Data Pump lê snapshots — automáticos ou manuais, de Aurora ou RDS Postgres. Se os backups automáticos estão ligados (o padrão), já existe snapshot para processar.
O cluster pode estar em outra conta AWS. Nesse caso, veja banco em outra conta — a instalação tem um passo a mais.
Permissão para criar a stack
Seção intitulada “Permissão para criar a stack”Quem roda o instalador precisa poder criar, via CloudFormation:
| Serviço | Para quê |
|---|---|
| S3 | O bucket do datalake e um bucket de staging do CloudFormation |
| IAM | Roles das tasks, da exportação e do crawler |
| KMS | A chave que cifra o export do snapshot |
| ECS | Cluster, task definitions e o serviço do console |
| Step Functions | A máquina de estados do pipeline |
| Lambda | As funções de evento e do crawler |
| DynamoDB | Cinco tabelas de configuração e estado |
| Glue | O banco de dados do catálogo e o crawler |
| Cognito | O user pool que autentica o console |
| SNS | Os tópicos de evento do RDS e de conclusão |
| EC2/ELB | Security groups e o load balancer interno |
O instalador exige CAPABILITY_NAMED_IAM, porque as roles têm nomes fixos.
O Data Pump não cria nada que fique caro parado. O que pesa é proporcional ao volume:
- Fargate — os jobs rodam por alguns minutos a cada snapshot
- S3 — o Parquet do datalake, mais o export bruto se você não limpá-lo
- Console — uma task pequena sempre de pé, mais o load balancer
- Athena — cobrado por dado lido, e é isso que particionar reduz
O snapshot em si você já paga: a AWS o tira de qualquer forma.