【要約】There Will Be a Scientific Theory of Deep Learning [Hacker_News] | Summary by TechDistill

> Source: Hacker_News

Execute Primary Source

// Discussion Topic

DLにおける科学的理論の確立可能性と、その阻害要因。

・「計算量とデータ」が全てか、「アーキテクチャ設計」が重要か。
・DLの成功を支えた歴史的要因（AlexNet、GPU、ImageNet）。
・脳の学習メカニズムとDLの構造的相違。
・ハルシネーション（幻覚）等の制御不能な挙動への対策。

// Community Consensus

【肯定派】

・統計力学的なアプローチで、複雑さの背後にある規則性が見えるはず。

【否定派】

・学習データが非構造的でカオスすぎる。
・モデルが巨大すぎて、物理学のような普遍的理論は困難。

【実務派】

・アーキテクチャは計算資源とのトレードオフに過ぎない。
・スケーリングこそが、実質的な正解である。

// Alternative Solutions

・OOD（Out-of-Distribution）検知によるハルシネーション対策。
・モデルの誤設定（misspecification）の測定による根本的アプローチ。
・情報幾何学（Information Geometry）を用いた解析。

// Technical Terms

Senior Engineer Insight

理論の確立を待つのは、実戦においては非効率。スケーリングによる性能向上は疑いようがない。一方で、ハルシネーション等の制御不能な挙動が最大のリスク。モデルの誤設定（misspecification）をどう検知し、システムとしてどうガードレールを敷くかが重要。理論よりも、実用的な制御手法の確立に注力すべき。設計の妙よりも、計算資源の投入効率を評価する視点が求められる。