【要約】自分のブログ49記事でミニGPTを学習させたら、「位置エンコーディング」と「.envを呼ぶ」を書き出した [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
著者は、これまで個別に実装してきた各種深層学習の部品を統合し、一つの言語モデルとして機能するかを検証しようとした。単に部品を繋ぐだけでなく、実装したアルゴリズムが数学的に正しいか、学習が進む過程でどのような挙動を示すかを確認する必要があった。具体的には以下の課題に取り組んでいる。
- ・実装した逆伝播アルゴリズムの数学的正確性の検証。
- ・小規模なモデルが学習データから何を抽出できるかの解明。
- ・Attentionヘッドが学習過程でどのような役割を分担するかというメカニズムの観察。
// Approach
著者は、外部ライブラリに頼らずnumpyのみでTransformerを構築し、数値微分を用いた厳格な検証を経て学習を行った。以下のステップで実験を進めている。
- ・2層Transformer（d=128、4ヘッド）の文字レベルGPTをnumpyで実装。
- ・数値微分と解析解を比較し、相対誤差1e-8以下であることを確認して実装の正当性を保証。
- ・自身のブログ49記事（12万字）をコーパスとして、6000ステップの学習を実施。
- ・生成文の進化、損失関数の推移、Attentionの重み、生成温度の影響を多角的に分析。
// Result
学習の結果、モデルは意味を理解することなく、著者の「文体」や「Markdown記法」といった統計的なパターンを再現することに成功した。得られた成果は以下の通りである。
- ・損失関数が理論上のランダム値7.22から2.5まで低下。
- ・Attentionヘッドが「直前文字」「文頭」「数文字前の塊」へと自然に役割を分担。
- ・生成文において、技術用語や特定の言い回し、太字（**）などの記法が再現された。
- ・学習が進むにつれ、ランダムな文字から文構造、そして文体へと進化する過程を観測。
Senior Engineer Insight
> 本実験は、大規模モデルのブラックボックス性を、最小構成のモデルで解明しようとする優れたアプローチである。特に、実装の正当性を数値微分で担保するプロセスは、カスタムレイヤーを開発する現場において極めて重要だ。ただし、7万パラメータ程度のモデルでは意味論的な理解は不可能であり、統計的な「文体」の模倣に留まる。実戦投入にはスケーラビリティの欠如が課題だが、アルゴリズムの挙動を直感的に理解するためのプロトタイピング手法としては非常に価値が高い。