【要約】【因果推論ホラー】予測では1000戦全勝のLightGBM、効果推定では1000戦全敗。なのに、、、 [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
データサイエンティストが、予測精度のみを基準にモデルを選び、意思決定を誤るリスクに直面している。予測精度が高いモデルが、必ずしも因果効果の推定や適切な施策選択に繋がるとは限らないからである。
- ・予測精度（RMSE）と効果推定精度は必ずしも一致しない。
- ・「予測」「効果推定」「意思決定」の目的が混同されている。
- ・柔軟なモデルへのモデリング外注は、推定の不安定性を招く。
// Approach
筆者は、予測と効果推定の乖離を検証するため、シミュレーションを用いた比較実験を行った。真の構造を持つ線形モデルと、構造を教えないLightGBMを戦わせ、統計的な安定性を評価した。
- ・1000回のシミュレーションにより、モデルの性能分布を算出した。
- ・予測RMSE、効果推定RMSE、平均バイアス、意思決定間違い率の4指標を用いた。
- ・処置割当に選択バイアスを含むデータ生成過程を設定した。
// Result
実験の結果、評価指標によってモデルの勝者が劇的に変わることが判明した。評価基準を誤ると、最強だと思っていたモデルが、実務では無力になる可能性がある。
- ・予測RMSEではLightGBMが100%の勝率を記録した。
- ・効果推定RMSEでは線形モデルが100%の勝率を記録した。
- ・平均効果のバイアスではLightGBMが99.8%勝利した。
- ・意思決定の間違い率ではLightGBMが55.1%で、線形モデルと互角となった。
Senior Engineer Insight
> 実務では、予測精度を追う「Kaggle的思考」と、施策決定を行う「因果推論的思考」を分離せよ。モデルの柔軟性は、推定の不安定性と引き換えである。LightGBMのような強力なモデルは、個体別の効果推定において不安定な挙動を示す。エンジニアは、モデルの性能だけでなく、評価指標の設計にリソースを割くべきである。手法の選択よりも、問題の定式化こそが意思決定の質を左右する。