【要約】GAN(敵対的生成ネットワーク)を、numpyだけで一から実装してみた [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
筆者がGANの学習メカニズムを深く理解するため、ライブラリに頼らず内部挙動を検証しようとした際に直面した課題である。
- ・GAN特有の学習の不安定性。
- ・損失値の理論的収束と、生成データの品質の乖離。
- ・拡散モデルと比較した際の、構造再現性の不足。
// Approach
筆者は、既存のフレームワークを使わずに、numpyのみでGANの全プロセスを実装することで、理論と実態の差を検証した。
- ・Two Moonsデータセットと隠れ層1つのMLPを採用。
- ・自作のAdam最適化アルゴリズムによるパラメータ更新。
- ・Dの逆伝播を利用し、Dのパラメータを固定したままGへの勾配を抽出する実装。
- ・損失値の推移と、生成データの可視化による評価。
// Result
筆者は、実装を通じてGANの理論的性質と実用上の限界を定量的に確認した。
- ・損失値は理論値（D: ln 4 ≈ 1.386, G: ln 2 ≈ 0.693）に収束。
- ・学習過程における損失の激しい振動を確認。
- ・「識別器を騙すこと」と「本物の分布を再現すること」の乖離を実証。
- ・拡散モデルの方が、同規模の学習では構造再現性に優れることを確認。
Senior Engineer Insight
> 実務でのGAN運用は、損失関数の監視だけでは不十分だ。損失が収束しても、生成品質が伴わないリスクがある。安定性を重視するなら、拡散モデルやWGANの検討が必要だ。内部構造の理解は、トラブルシューティングの要となる。