【要約】【AI観察記録】人間の「AI学習」に対する大きな勘違いを正してみた（第2回：バッチ処理とLossの正体） [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
学習者がAIの学習プロセス、特に「Loss（損失）」の数学的意味を誤解すること。直感的な理解が、計算機科学的な制約と衝突し、以下の問題を引き起こす。
- ・Lossを単なる数値の差（引き算）と捉え、確率分布としての性質を見失う。
- ・膨大な組み合わせを確率表で管理しようとし、組み合わせ爆発を無視する。
- ・学習指標として「正解までの回数」のような離散的な値を用いようとし、微積分の適用を困難にする。
// Approach
開発者がPyTorchを用いて最小構成のモデルを実装し、誤解を論理的に解体するアプローチを取る。具体的な手順は以下の通りである。
- ・データをPyTorchのTensorに変換し、学習用とテスト用に分割する。
- ・
get_batch関数により、複数の文脈を同時に処理するバッチ処理を実装する。 - ・
nn.EmbeddingとF.cross_entropyを用いたBigramモデルを構築する。 - ・Lossの本質を「正解に対する確率の低さへのペナルティ」として定義し直す。
// Result
学習者がAI学習における数学的・計算機科学的な制約を正しく理解する。これにより、以下の認識が得られる。
- ・Lossは、正解の文字に対してどれだけ高い確率を出せたかを示す指標である。
- ・組み合わせ爆発により、全パターンの確率表作成は物理的に不可能である。
- ・最適化（微積分）を行うためには、滑らかな確率の計算式が必須である。
Senior Engineer Insight
> 深層学習の初歩における「概念の壁」を的確に突いている。特に、Lossを単なる誤差ではなく、微分可能な確率分布の評価として捉える視点は、最適化アルゴリズムを理解する上で極めて重要だ。実務における大規模モデルの設計においても、この「微分可能性」と「計算量（組み合わせ爆発）」の制約は、常に意識すべき基本原則である。