【要約】Hopfieldネットワークの記憶容量を実測。理論値141枚のはずが、文字パターンは3枚で崩壊した [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
筆者がHopfieldネットワークの理論容量を検証した際、データの性質によって性能が激変するという課題に直面した。理論値はパターンが無相関であることを前提としているため、実データとの乖離が問題となる。
- ・ヘブ則の理論容量（0.138N）は、パターンが無相関であるという仮定に基づいている。
- ・文字パターン等の相関が強いデータでは、クロストークにより容量が劇的に低下する。
- ・容量超過時には、記憶が消えるのではなく「偽の記憶（偽アトラクタ）」へ収束する。
// Approach
筆者は、データの相関が記憶容量に与える影響を定量化するため、異なるデータセットと学習則を用いた比較実験を行った。
- ・1,024ニューロン（32×32画像）の再帰型ネットワークを構築した。
- ・「ランダムパターン」と「文字パターン」の2種類を比較対象とした。
- ・学習則として「ヘブ則」と、相関を打ち消す「射影ルール」を検証した。
- ・ノイズ混入時の想起成功率を、一致度0.95以上を基準に測定した。
// Result
実験の結果、データの相関構造と学習則の組み合わせが記憶容量を決定付けることが明らかになった。
- ・ランダムパターンでは、理論値141枚付近で成功率が急落する「崖」を確認した。
- ・文字パターンでは、ヘブ則を用いるとわずか3枚で全記憶が崩壊した。
- ・射影ルールを採用することで、文字パターンでも300枚までの想起に成功した。
- ・射影ルールはノイズに弱く、似た記憶が溶け合う「偽の記憶」を生む傾向がある。
Senior Engineer Insight
> 本実験は、理論限界と実データの相関の乖離を鋭く突いている。実務において、データの相関を無視して理論値を適用する危うさを再認識させる。容量超過時に「もっともらしい誤情報」が生成される点は、現代のハルシネーション問題にも通じる重要な示唆だ。古典モデルの挙動理解は、現代のアーキテクチャ設計においても極めて価値が高い。