【要約】競馬AI開発記録 #22 確率校正の精密化と動的クリッピング:『自信過剰』を数学的に抑制する [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者が期待値(EV)に基づいた投資エンジンを構築する際、モデルの出力スコアと実際の勝率が乖離する問題に直面した。スコアの不正確さは、誤った投資判断を招く致命的なリスクとなる。
- ・年度間ドリフト:過去データの累積が、最新のモデル特性と乖離し精度を悪化させる。
- ・穴馬への過信:多頭数レースにおいて、一部の穴馬に統計的に不自然な高確率を割り当てる。
// Approach
開発者はモデルの過信を構造的に抑制し、統計的な整合性を保つための「物理的なガードレール」を導入した。
- ・直近データの採用:最新の特性を捉えるため、学習データを直近1年分に限定する。
- ・動的クリッピング:レース頭数 N に応じ、最大確率を 1.5 / N に制限する。
- ・複合目的関数の実装:ECE(期待校正誤差)をペナルティとして学習に組み込む。
// Result
開発者は、校正精度の向上と収益性の維持を両立させることに成功した。
- ・ECE(高確率帯)の改善:0.0413から0.0378へ低下。
- ・MCE(最大誤差)の改善:0.1973から0.1221へ低下。
- ・ROIの維持:校正精度を高めつつ、85.66%のROIを確保。
Senior Engineer Insight
> 予測値が直接的な資金投下判断に直結するシステムでは、モデルの識別能以上に「確率の正確性」が重要となる。純粋な数学的最適化に頼らず、頭数による上限設定のような「物理的な制約」を組み込む設計は、実運用におけるリスク管理として極めて合理的かつ実践的である。