【要約】自作の競馬予想MLで効率的市場仮説に挑んで、跳ね返された話 ── ablationで見えた『市場が織り込んでいるもの』 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者が自作の競馬予想ML「UmaScore」を運用する中で、モデルの予測精度に関する疑念に直面した。具体的には、モデルのスコアが市場のオッズを単に写し取っているだけで、真のエッジを持っていないのではないかという懸念である。
- ・バックテスト（BT）とフォワードテスト（FT）における回収率の乖離。
- ・自前で算出したファンダメンタルズ因子が、オッズと独立した予測力を持つかの不明瞭さ。
- ・モデルの予測値がオッズ成分に依存し、見せかけの性能を出している可能性。
// Approach
開発者は、モデルの予測根拠を定量的に切り分けるため、以下の3つの検証アプローチを採用した。
- ・Ablation Test: モデルからオッズ由来成分（
odds_implied）を意図的に除去し、性能差を測定。 - ・Correlation Analysis: 予測スコアと市場のインプライド確率の相関（0.78）を分析。
- ・Controlled Experiment: 未使用の構造化データ（馬体重）を用い、オッズ帯で統制した条件下での勝率勾配を検証。
// Result
検証の結果、自前モデルのファンダメンタルズ成分は市場価格と独立したエッジを示せていないことが判明した。
- ・Ablation Testにおいて、FTの回収率はWITH版（64.5%）に対しABLATED版（49.3%）と大幅に低下。
- ・馬体重の検証では、オッズ帯を統制しても勝率に有意な勾配が見られず、情報の織り込みを確認。
- ・検証手順自体は、金融やスポーツベッティング等の他ドメインへ転用可能な汎用的な雛形として確立された。
Senior Engineer Insight
> 本記事の真価は、モデルの成功ではなく「失敗の検証プロセス」にある。市場価格が存在する環境では、モデルが市場のコンセンサスを単に模倣しているリスクが常に存在する。Ablation testを用いて「市場価格由来の成分」と「自前シグナル」を分離し、FTでの挙動を観察する手順は、金融系ML開発におけるデバッグの標準モデルとなり得る。負の結果（Negative Result）を論理的に記述する姿勢は、実戦的な開発現場において極めて重要である。