【要約】競馬AI開発記録 #20 「確率の物差し」を校正する：3分割物理隔離と保序回帰（Isotonic Regression） [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者は、競馬AIにケリー基準を導入した際、モデルの「過信」により資産が壊滅する問題に直面した。ランキングモデルのスコアは相対的な序列を示すものであり、的中確率として機能しないためである。具体的には以下の課題が発生した。
- ・モデルの出力スコアが的中確率として機能していない。
- ・検証データの使い回しにより、ECE 0.0005という非現実的な精度（リーク）が発生した。
- ・保序回帰の特性により、高確率帯の出力が「階段状」に歪む問題が生じた。
// Approach
開発者は、モデルのスコアを数学的に正しい確率分布へ変換し、検証の信頼性を担保するために以下の手法を導入した。
- ・Isotonic Regressionの採用：データの単調増加性を維持し、非線形な分布に柔軟に適応させる。
- ・高確率帯への重点学習：
high_prob_weightを導入し、高確率サンプルの学習重みを最大100倍に引き上げる。 - ・レース内Softmaxと動的クリッピング：確率の合計を1に調整し、頭数に応じた最大確率の上限を設定する。
- ・検証データの3分割物理隔離：
val_df_es、val_df_calib、val_df_eceに分離し、リークを根絶する。
// Result
隔離されたクリーンな環境での最適化により、実戦に耐えうる「確率の物差し」を構築した。これにより、期待値に基づいた冷徹な投資判断が可能となった。
- ・ECEが0.017〜0.024という、現実的かつ極めて高い精度に到達した。
- ・高確率帯（>= 0.2）のECEを0.037に抑制し、過信を大幅に防止した。
- ・2026年Q1のフォワードテストにおいて、ROI 102.6%を記録した。
Senior Engineer Insight
> 本記事の価値は、精度向上ではなく「意思決定の信頼性」に焦点を当てている点にある。特に、検証データの3分割隔離は、実運用で陥りやすい「評価のリーク」に対する極めて実践的な解法だ。金融や広告配信など、予測値が直接的なリソース配分に直結するシステムでは、この「校正」と「厳格な検証分離」の設計が、システムの生存率を左右する。