Athena で検索

Data Pump は結果を Glue Data Catalog にカタログ化します。カタログを読めるツールであれば、Athena、Redshift Spectrum、EMR、Spark のいずれからもテーブルが見えます。

テーブルの見え方

名前はデータベースとテーブルから作られ、設定した別名が反映されます。

データベース上	データレイク上	Athena 上
`pagila` / `public.payment`	`pagila.payment`	`pagila_payment`
別名 `vendas` / `pagamentos` を設定した場合	`vendas.pagamentos`	`vendas_pagamentos`

public スキーマは除去され、それ以外のスキーマは保持されます。

クエリする

SELECT customer_id, sum(CAST(amount AS DECIMAL(10,2))) AS total
  FROM datalake.vendas_pagamentos
 WHERE ano = 2024 AND mes = 3
 GROUP BY customer_id
 ORDER BY total DESC
 LIMIT 20;

コストに差が出るのは、パーティションカラムに対する WHERE です。これがないと Athena はテーブル全体を読み取ります。

型

RDS のエクスポートは、日付や小数を含む多くのカラムをテキストとして出力します。これはフォーマットに由来するもので、Data Pump によるものではありません。

-- 日付
CAST(payment_date AS TIMESTAMP)

-- 小数
CAST(amount AS DECIMAL(10,2))

同じ CAST を毎回使うのであれば、パーティション設定に 追加カラム を作る価値があります。取り込み時に一度だけ計算され、変換済みの状態で Athena に届きます。

何があるかを確認する

コンソールの Datalake（データレイク）画面には、カタログ化されたテーブルがカラム、型、行数、それぞれの出所とともに一覧表示されます。何があるかを知りたいだけのときは、Athena でカタログを照会するより速いです。