【要約】【Oracle Autonomous AI Database】Apache Icebergでタイムトラベルしてみた [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
データエンジニアは、データレイク上のデータが更新された際、過去の状態を遡って確認したいという課題に直面する。具体的には以下のペインポイントが存在する。
- ・更新前の集計結果を再確認するために、時点ごとのデータコピーを作成・保持する運用コストが高い。
- ・障害発生時や問い合わせ対応において、特定の時点の状態を即座に再現する手段が限られている。
- ・公式ドキュメントに記載のないAICAT（Oracle AI Data Catalog）経由のカタログでも、同様の機能が動作するか不明であった。
// Approach
筆者は、Oracle ADBのSQL構文を用いて、Icebergのスナップショットを直接参照する手法を検証した。以下のステップでアプローチを行っている。
- ・
SELECT ... AS OF TIMESTAMP <時刻>構文を使用し、指定時刻以下の最新スナップショットを特定する。 - ・ADBの内部UNDOではなく、Icebergのメタデータに基づきObject Storage上のファイルを直接読み出す仕組みを利用する。
- ・
UNION ALLを活用し、過去の時点と現在の時点を単一のクエリ結果として並列表示する構成を試行する。
// Result
検証の結果、AICAT経由のIcebergテーブルにおいても、タイムトラベルによる過去データの参照に成功した。
- ・注文データのステータス変更に対し、指定時刻を用いることで更新前の状態を正確に再現できた。
- ・事前に時点ごとのコピー表を作成することなく、Icebergの履歴範囲内で集計の再現が可能となった。
- ・
Select AIとの連携により、自然言語による履歴照会への活用可能性が示された。
Senior Engineer Insight
> 実戦投入時には、Icebergのライフサイクル管理が運用の生命線となる。ADB側で履歴を保持するのではなく、Object Storage上のファイルに依存するためだ。IcebergのRetention policyと、ビジネス要件としての遡及調査期間を厳密に同期させる設計が不可欠である。また、Merge-on-read形式への対応制限など、現時点での技術的制約を把握した上での利用が求められる。