【要約】Microsoft FabricのメダリオンアーキテクチャにおけるWarehouseとLakehouseの選定基準 [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
データエンジニアは、Fabricでの設計時に、各レイヤーのデータストア選定に迷う。WarehouseとLakehouseは機能が重なり、境界が曖昧だからだ。
- ・単一の条件だけで選ぶと、設計ミスを招く恐れがある。
- ・チームのスキルや運用負荷が考慮されないリスクがある。
- ・不適切な構成は、将来的な性能低下を招く。
// Approach
本記事は、4つの観点から最適なデータストアを選択する手法を提示する。エンジンの特性やデータの性質を軸に判断を行う。
- ・処理エンジン：T-SQLならWarehouse、SparkならLakehouse。
- ・データの種類：構造化ならWarehouse、非構造化を含むならLakehouse。
- ・トランザクション：複数テーブルの一貫性が必要ならWarehouse。
- ・運用責任：ファイル管理をFabricに任せるならWarehouse。
// Result
適切な選定により、要件に合致した効率的な基盤を構築できる。用途に応じた3つの実装パターンが示されている。
- ・BI中心：Sparkで加工し、Warehouseでマートを作る。
- ・DS/BI共用：Lakehouseで特徴量とBI用テーブルを共用する。
- ・SQL完結：Warehouseのみで低コストな基盤を実現する。
Senior Engineer Insight
> 運用責任の所在を明確にしている点が、実戦的で評価できる。Lakehouseでは、ファイル最適化（OPTIMIZE/VACUUM）の運用コストが無視できない。SQL中心の組織は、Warehouseの自動管理を活用すべきだ。逆に、高度なMLにはLakehouseの柔軟性が不可欠となる。レイヤーごとに「誰が、どのエンジンで、どこまで管理するか」を定義せよ。