【要約】Apache Iceberg入門：誕生の背景から特徴、アーキテクチャまとめ [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
Netflixなどの大規模データ環境において、従来のHiveテーブルフォーマットが抱えていた管理上の限界が課題となった。ディレクトリ構造に基づいた管理方式では、以下の問題が発生していた。
- ・一貫性の欠如：書き込み途中の不完全な状態が、読み取り側に露出してしまう。
- ・パフォーマンス低下：大量のファイル走査が必要で、クエリプランニングが遅延する。
- ・スキーマ変更の困難さ：パーティション設計の変更に、テーブル全体の書き直しを要する。
- ・同時実行性の低さ：複数のライターによる書き込み時に、データの一貫性を保ちにくい。
// Approach
Icebergは、テーブルをディレクトリではなく、メタデータによるファイル単位の管理へと転換するアプローチを採用した。メタデータの階層構造を用いることで、以下の仕組みを実現している。
- ・メタデータツリーの構築：メタデータファイル、マニフェストリスト、マニフェストファイルの4層構造で状態を管理する。
- ・カタログによる管理：テーブル名と最新のメタデータファイルの場所を紐付け、アトミックな更新を行う。
- ・統計情報の活用：各ファイル内の値の範囲や件数を保持し、不要なファイルの読み飛ばしを可能にする。
- ・変換式の導入：隠しパーティション機能により、物理配置を意識しないクエリ実行を可能にする。
// Result
Icebergの導入により、データレイク上でデータウェアハウスに近い操作性が実現された。具体的には、以下の成果が得られる。
- ・ACIDトランザクションの実現：楽観的同時実行制御により、複数ライター環境でも一貫性を保証する。
- ・運用の柔軟性向上：パーティション進化やスキーマ進化により、データの再書き込みなしで構造変更が可能になる。
- ・クエリ性能の最適化：統計情報とメタデータ管理により、大規模データでも効率的なスキャンが可能になる。
- ・データ保護：タイムトラベルやロールバック機能により、過去の状態への迅速な復旧が可能になる。
Senior Engineer Insight
> 大規模データレイクの運用において、Icebergは「管理の複雑性」を「メタデータの抽象化」で解決する合理的な設計である。特に、パーティション進化や隠しパーティションは、物理設計のミスが致命傷になる現場において強力な武器となる。ただし、行レベル更新におけるCoWとMoRの選択は、書き込み頻度と読み取りレイテンシのトレードオフを厳密に評価すべきだ。単なる導入ではなく、ワークロードに応じたチューニングが不可欠である。