【要約】競馬AI開発記録 #16 リークなき環境でエッジを掘り当てる：動的特徴量と「凡走サイン」の特定 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者がリーク対策済みの環境で再評価を行った際、穴馬検知の的中率がランダムレベルまで低下した。これまでのモデルが未来の情報に依存していたことが判明し、以下の課題に直面した。
- ・静的な集計データでは、馬の状態変化や条件の好転を捉えきれなかった。
- ・動的指標の設計において、当日の結果を計算に含める論理的リークが再発した。
- ・決定木の重要度が高い一方で、実際の的中率（Lift）が低い特徴量が混在した。
// Approach
開発者は、激走予測だけでなく、的中率を下げる要因を排除する「引き算」のアプローチを採用した。具体的には以下のステップで実装を進めた。
- ・「凡走サイン」の定義: ダート専門馬の芝挑戦など、期待値を下げる条件をフラグ化した。
- ・動的指標の導入: 前走との比較に基づくタイム偏差などの指標を設計した。
- ・リークの徹底排除:
shift(1)を用い、計算対象を必ず前走までの実績に限定した。 - ・複合フラグの設計: 複数の条件を組み合わせ、高精度な激走シグナルを構築した。
// Result
実装の結果、穴馬モデルの識別能力が劇的に向上し、統計的なエッジを確保した。成果の詳細は以下の通りである。
- ・KS統計量が 0.043 から 0.5087 へと大幅に改善した。
- ・上位1%予測における的中率（Lift）が 1.359 を記録した。
- ・「変化」を捉える動的特徴量の有効性を数値で証明した。
Senior Engineer Insight
> 時系列予測における特徴量設計の要諦が示されている。特に、重要度が高いがLiftが低い特徴量を「負の寄与」として再定義する視点は、モデルのノイズ除去において極めて実戦的だ。ただし、
shift(1) の徹底など、実装レベルでのリーク管理は極めて脆弱である。運用時には、診断パイプラインによる自動検証が不可欠となるだろう。