【要約】Claude Codeと作る競馬予測システム開発記(4) 買い目戦略と評価編 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者が、予測モデルの出力を実運用における具体的な買い目や資金配分へ変換する過程で、過学習と市場の効率性という壁に直面した。具体的には以下の問題が発生している。
- ・予測確率のみに基づく選択は、市場のオッズ（期待値）を無視してしまう。
- ・グリッドサーチによる閾値の最適化が、特定の期間に過剰適合する。
- ・中央競馬（JRA）のような高効率な市場では、後付けのフィルタリングでは利益確保が困難である。
// Approach
開発者は、数学的な期待値計算とリスク管理手法を組み合わせ、時系列的な妥当性を検証するプロセスを構築した。以下のステップで実装を行っている。
- ・期待値（EV）ベースの選択: $EV = 予測確率 imes オッズ$ を用い、閾値を超える馬を抽出する。
- ・1/4 Kelly基準の採用: 理論上のKelly基準を4分の1に抑え、予測誤差によるドローダウンを抑制する。
- ・Walk-forward検証の実施: 学習期間とは別の未見期間で検証し、過学習を排除する。
- ・戦略比較ダッシュボード: ROIや累積損益を複数戦略で横並び比較する環境を構築する。
// Result
検証の結果、バックテストの好成績が過学習によるものであることが定量的に示された。具体的な数値は以下の通りである。
- ・JRA: 学習期間ROI 188.3%に対し、未見期間の平均ROIは26.0%へ大幅に劣化。
- ・NAR: 学習期間ROI 115.4%に対し、未見期間の平均ROIは94.0%へ低下。
- ・結論: 後付けのフィルタリングよりも、特徴量やモデル自体の精度向上が本質的であると判明した。
Senior Engineer Insight
> 期待値とKelly基準の導入は、金融工学的に極めて妥当な設計である。しかし、本質的な課題は「モデルの予測精度」と「市場の効率性」にある。グリッドサーチによるパラメータチューニングは、時系列データにおいては極めて危険な罠となる。Walk-forward検証を標準プロセスに組み込んだ点は高く評価できる。今後は、後付けのロジックに固執せず、特徴量エンジニアリングによるモデルの底上げにリソースを集中すべきだ。