Parte del snapshot
Sin agente instalado, sin replicación, sin CDC. El snapshot que AWS ya toma es la fuente — incluso de bases en otra cuenta.
corre en tu cuenta AWSen producción hace más de un año
Tu base de producción
no tiene por qué enterarse del análisis.
Data Pump parte del snapshot que AWS ya toma todos los días. Lo exporta, lo organiza y lo cataloga — y el resultado se consulta en Athena. Nada se conecta a la base viva.
Un snapshot es una copia detenida en el tiempo. De ahí sale todo — ninguna consulta toca producción, ni siquiera para saber qué tablas existen.
el camino de una tabla
AWS toma el snapshot
RDS lo exporta en Parquet
exported/{cluster}/{export}/pagila/public.payment/Data Pump organiza y renombra
catalog/{cluster}/pagila.pagamentos/Reparticiona por lo que consultas
catalog/{cluster}/pagila.pagamentos/ano=2024/mes=03/Glue lo cataloga
Cinco etapas, ninguna dentro de tu base
El pipeline se dispara solo cuando un snapshot queda listo. De la notificación al catálogo, nadie interviene.
Exporta donde está el dato
En escenario cross-account, la exportación corre en la cuenta de origen y escribe directo en tu bucket. El dato crudo no viaja dos veces.
Vos decidís qué entra
Elegí las bases, filtrá tablas y renombrá lo que tenga nombre técnico. `tb_pgto` pasa a ser `pagos` en el lake.
Particiona por lo que preguntás
Una tabla reparticionada por año y mes hace que Athena lea solo el recorte de la consulta — no la tabla entera.
Guarda lo que la base descarta
El histórico de largo plazo no se borra en cada ejecución. Purgás dato viejo de Postgres y sigue consultable acá.
Muestra qué pasó
Cada ejecución registra sus etapas, qué tablas se tocaron y la versión de cada componente. Cuando falla, el error queda visible.
La alternativa es tocar la base que no puede parar
Toda forma de sacar dato de un Postgres en producción tiene un precio. Partir del snapshot es la que cobra menos.
consultar directo o replicar
- La consulta analítica compite con la aplicación
- Una réplica exige configuración en la base y alguien que la cuide
- CDC necesita agente, conector y monitoreo propios
- El acceso de red a la base se vuelve una excepción de seguridad
- El dato purgado desaparece con él
partir del snapshot
- La base no recibe ninguna conexión nueva
- AWS ya toma el snapshot — ese costo ya existe
- Nada instalado en el origen, ni en otra cuenta
- Sin ruta de red: el pipeline lee archivos, no la base
- El histórico sobrevive a la purga
Un panel en tu infraestructura, no en la nuestra
Todo Data Pump corre en la cuenta AWS del cliente — la consola incluida. Tus datos no pasan por nosotros en ningún momento.
Orígenes y bases
Marcá qué clusters alimentan el lake y qué bases se ingieren. La lista de tablas viene del propio export.
Particiones
Configurá cómo se reparticiona cada tabla, y qué hacer cuando una fila cambia en la base después de ingerida.
Ejecuciones
Seguí cada corrida por etapa, mirá qué tablas se actualizaron y qué falló, con el log de la etapa.
¿Querés verlo funcionando en tu ambiente?
Cada instalación empieza por una conversación: definimos cuenta, región, VPC y bases de origen, y armamos un paquete para ese escenario. No hay instalador genérico — contanos tu caso y respondemos con lo que tenga sentido.