【要約】【初学者向け】ゼロから理解する拡散モデル④潜在拡散 — Stable Diffusionを部品に分解する" [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
[WARN: Partial Data] 実装コードの末尾（run.pyのload_ldit部分）が途切れており、完結していないため。
// Problem
従来の拡散モデル開発者は、高解像度画像の生成において、膨大な計算リソースと情報の冗長性に直面していた。ピクセル空間で直接拡散プロセスを行う場合、以下の課題が生じる。
- ・高次元テンソルに対する反復的な計算負荷：高解像度画像は次元数が極めて大きく、計算が重い。
- ・知覚的冗長性への資源浪費：人間には判別不能な高周波成分の再現に、多大な計算資源が割かれる。
- ・条件付けの表現力不足：クラスIDによる条件付けでは、語彙が固定され、複雑な概念の合成が困難である。
// Approach
研究者らは、生成プロセスを「知覚的圧縮」と「意味的圧縮」の二段階に分ける手法を採用した。計算効率と表現力を両立するため、以下のステップで構成される。
- ・VAEによる潜在空間への移行：画像を低次元の潜在テンソルへ圧縮し、拡散プロセスをその中で実行する。
- ・CLIPによる対照学習：画像と言葉を共通のベクトル空間に配置し、テキストによる柔軟な条件付けを実現する。
- ・Cross-attentionによる注入：テキストのトークン列を、拡散モデル（U-NetやDiT）の各層へ注入する。
- ・生成プロセスの最適化：重いデコード処理を、生成プロセスの最後に一度だけ実行する設計とする。
// Result
この設計により、コンシューマGPUでも動作可能な、高効率かつ柔軟な画像生成が実現した。具体的な成果は以下の通りである。
- ・計算次元数の劇的な削減：512x512のRGB画像を、約48分の1の次元へと圧縮することに成功した。
- ・高度なプロンプト制御：テキスト埋め込みを利用することで、複雑な修飾語の組み合わせが可能になった。
- ・実用的な推論速度：潜在空間での軽量な反復計算により、生成の現実味が大幅に向上した。
Senior Engineer Insight
> 潜在空間への移行は、計算資源の最適化において極めて合理的な設計である。知覚的な冗長性を排除し、意味的な情報に計算資源を集中させる思想は、大規模モデルの運用において極めて重要だ。ただし、VAEの圧縮による情報の欠落や、CLIPの埋め込み精度が生成品質の限界を規定する。実戦投入時は、圧縮率と品質のトレードオフを厳格に評価すべきである。