【要約】地方競馬モデルを walk-forward OOSで評価したら、LightGBMが手製ルールに負けた ── 個人開発MLの過学習実測ケース [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者が時系列データを用いたモデル構築を行う際、バックテストと実運用での性能乖離に直面する問題がある。
- ・未来情報の混入によるリーケージ。
- ・学習データのノイズを拾う過学習。
- ・市場の効率性（EMH）による妙味の消失。
// Approach
検証者は、時系列の整合性を保ちつつ、モデルの汎化性能を厳格に測定する評価手法を導入した。
- ・Walk-forward OOS（月次ローリング）の採用。
- ・手製ルールとGBDTによる比較検証。
- ・本命予測と高期待値領域の性能非対称性の確認。
// Result
検証の結果、構築したモデルは市場の効率性を打破できず、期待値の高い領域で性能が崩壊することが判明した。
- ・M1（ルール）は回収率100.6%だが、運用閾値には届かず。
- ・M2（LightGBM）は高期待値領域で回収率69.0%と市場を下回った。
Senior Engineer Insight
> 技術責任者の視点では、本検証は時系列予測における「評価の厳格さ」を説く極めて実践的な事例である。特に、モデルが「市場の予測」には適合するが、「市場の歪み」を捉えきれず過学習する挙動の検知手法は、金融工学等の実戦的なドメインでも極めて価値が高い。精度向上よりも、評価設計の妥当性を問う姿勢は、予測モデル運用における必須の規律である。