【要約】競馬AI開発記録 #24:単勝特化の限界を「複勝専用モデル」で突破する:特徴量空間の物理的隔離 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者は、単一のランキングモデルによる予測精度の頭打ちと、データ構造の不備に直面した。単勝予測のみでは、複勝圏内の馬を評価する情報が不足していた。さらに、以下の技術的問題が発生した。
- ・グローバルな特徴量セット(feature_fingerprint)の共有。
- ・複勝モデル用の特徴量が単勝モデルにNaNとして混入。
- ・校正済み勝率(calibrated_prob_win)の計算歪みによるROIの急落(85.17%から67.38%へ)。
// Approach
開発者は、目的変数の異なる複数の専門モデルを連携させるマルチモデル・アーキテクチャを採用した。特徴量空間を論理的・物理的に分離することで、データの整合性を確保した。
1.論理的分離: prepare_training_data関数内で、ランキング用と複勝用の特徴量を厳格に定義。
2.物理的分離: calib_historyを拡張し、ランキング用(X)と複勝用(X_top3)を独立管理。
3.推論パスの拡張: score_integrator.pyからprediction.pyへの新インターフェースを構築。
// Result
アーキテクチャの刷新により、予測精度とシステムの安定性が向上した。モデルの専門化とデータ汚染の排除により、以下の成果を得た。
- ・Top3モデルの識別能: prob_top3 AUC 0.7213を達成。
- ・単勝識別能の回復: In-Race Spearman相関が0.2527に改善。
- ・ROIの安定化: 崩壊した単勝ROIを85.17%以上の水準へ復旧。
Senior Engineer Insight
> 特徴量エンジニアリングにおける「疎結合」の重要性を示す好例だ。単一のデータ構造に依存する設計は、モデル追加時の副作用を招き、収益に直結する致命的なエラーを引き起こす。本件のような「物理的な隔離」は、スケーラビリティ確保の定石である。ただし、実装がパッチワーク化するリスクがあり、今後は宣言的な構成管理への移行が不可欠となるだろう。