Data Pump

Data Pump は、AWS がすでに取得している RDS のスナップショットを読み取り、Athena で 検索できるデータレイクを構築します。本番データベースへの接続は一切ありません。 どのテーブルが存在するかを調べるためにも接続しません。

解決する課題

本番の Postgres のデータを分析するには、通常は好ましくない選択を迫られます。 アプリケーションを支えているデータベースで分析クエリを実行するか、レプリカを維持するか、 CDC を導入するかです。いずれも代償を伴います。競合、データベース側の設定、 運用が必要なエージェント、セキュリティ上の例外となるネットワーク経路などです。

スナップショットはすでに存在します。AWS が毎日取得しており、そのバックアップ費用は すでに請求に含まれています。Data Pump はそこから始めます。

提供されるもの

スナップショットが完成すると自動的に起動するパイプラインと、すべてを運用するための コンソール。どちらも お客様の AWS アカウント上 で動作します。データが CO2 Lab を 経由することは一切ありません。

ソース	自動または手動のスナップショット。自アカウントでも他アカウントでも可
フォーマット	Parquet、Glue にカタログ化
クエリ	Athena、または Glue Data Catalog を読めるあらゆるツール
運用	VPC 内の Web コンソール、ログイン認証付き

インストールの流れ

Data Pump はインストール単位でライセンスされ、汎用のインストーラーはありません。 すべてのインストールは CO2 Lab との引き渡し（handoff）から始まります。そこで アカウント、リージョン、VPC、バケット、ソースアカウントを決定し、お客様はその構成に 合わせて組み立てられたパッケージを受け取ります。

理由は、これらの決定がテンプレートの宣言するリソースそのものを変えるため、 インストール時に決めることができないからです。引き渡しで何を決めるかは 導入手順 をご覧ください。

オープンソースではなく、AWS Marketplace でも提供していません。ご契約は contato@co2lab.io まで。

はじめかた

• 仕組み — スナップショットから SELECT までのデータの経路
• 前提条件 — 引き渡しの前にアカウントに必要なもの
• 導入手順 — 引き渡しと手順の詳細

ソースのデータベースが別の AWS アカウントにある場合は クロスアカウント構成 をご覧ください。テンプレートに権限が 追加されるため、引き渡しの時点で決めておく必要があります。