【要約】需要予測における打ち切り問題 ③理論編・後編 ─ Tobit モデルの数理と最尤推定 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
需要予測を行うデータサイエンティストは、在庫不足により実際の需要が把握できない「打ち切り」に直面する。売上データのみを最小二乗法（OLS）で解析すると、真の需要を過小評価するバイアスが生じる。具体的には以下の問題が発生する。
- ・在庫上限（キャパシティ）による観測値の歪み。
- ・「売上＝需要」という誤った前提による予測精度の低下。
- ・打ち切りが発生しているデータにおける回帰係数の偏り。
// Approach
本記事では、観測不能な「真の需要」を潜在変数として定義し、Tobitモデルを用いてその構造を数理的に解明する。以下のステップで理論を構築している。
- ・潜在変数 $y^*$ を線形回帰モデルとして定義。
- ・観測値 $y$ を、閾値 $c$ を用いた条件付きルールで記述。
- ・最尤推定法（MLE）を用い、打ち切りデータと非打ち切りデータの両方を考慮した対数尤度関数を導出。
- ・Inverse Mills Ratioによるバイアス補正の仕組みを解説。
// Result
理論的な理解を通じて、実務における需要予測の精度向上とモデルのデバッグ能力の獲得を目指す。本記事の到達点は以下の通りである。
- ・OLSでは不可能な、潜在的な需要（真値）の推定手法の確立。
- ・Heckmanの2段階法や多重閾値モデルへの拡張知識の提供。
- ・次回、EMアルゴリズムやNumPyroを用いた実装による検証への橋渡し。
Senior Engineer Insight
> 需要予測の現場では、在庫切れによる「売上データの欠損」は避けられない。OLSによる安易な回帰は、意思決定を誤らせる致命的なリスクとなる。Tobitモデルは数学的に堅牢だが、正規分布の仮定やMLEの収束性に依存する。大規模データへの適用時は、NumPyro等の確率的プログラミング言語を用いたベイズ的アプローチが、計算効率と不確実性の評価の両面で現実的な解となるだろう。