【要約】相撲予測モデル：やっぱり甘くなった3日目までの途中経過まとめ。 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
筆者が、予測モデルの運用において、短期的な的中率の変動に惑わされるリスクに直面した。具体的には以下の課題が挙げられる。
- ・初日の85.0%という極端な上振れによる、モデル性能の誤認リスク。
- ・サンプルサイズが小さい段階での、単一指標（Accuracy）による判断の危うさ。
- ・的中数のみでは、モデルの予測確率の妥当性を評価できない点。
// Approach
筆者が、モデルの真の性能を多角的に検証するため、比較対象と複数の評価指標を導入した。採用した手法は以下の通りである。
- ・採用モデル（outcome-elo-v1）と、研究用Shadowモデルの並走比較。
- ・Accuracyに加え、Log lossやBrier scoreを用いた「確率の質」の評価。
- ・事前テスト（55.88%）を基準とした、現状の乖離の定量的把握。
// Result
筆者が、3日目までの経過を分析した結果、指標間のトレードオフが明らかになった。得られた結果は以下の通りである。
- ・採用モデルのAccuracyは55.0%となり、事前テスト水準へ回帰。
- ・ShadowモデルはAccuracyで71.7%と先行。
- ・確率の質（Log loss/Brier score）では、採用モデルが僅かに優位。
Senior Engineer Insight
> 予測モデルの運用において、Accuracy（的中率）のみを追うことの危険性を実証している。実戦では、モデルが「どれだけ確信を持って予測したか」という確率の質が、長期的な安定性に直結する。Log lossやBrier scoreを監視対象に含める設計は、過学習や不適切な確信度を検知する上で極めて合理的である。ただし、n数が少ない段階での判断は避け、統計的有意性を待つ姿勢が求められる。