【要約】AI時代のバックテスト過学習入門：PBO論文をUSDJPY実験で読む [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
クオンツトレーダーが、AIや計算資源を用いて大量の戦略を探索する際、統計的な罠に直面する。膨大な試行回数は、偶然のノイズに適合した「見かけ上の高成績戦略」を生み出す。
- ・多重検定問題による、偽陽性の発生。
- ・IS（インサンプル）成績とOOS（アウトオブサンプル）成績の著しい乖離。
- ・IS Sharpeが高いほど、選択バイアスによりOOS性能が低下する負の相関。
// Approach
筆者は、Baileyらの論文に基づき、USDJPYの60分足データを用いた実験を通じて過学習を評価する。統計的な厳密性を確保するため、以下の手法を採用した。
- ・CSCV（組合せ対称交差検証）による、時系列構造を保持した検証。
- ・PBO（バックテスト過学習確率）を用いた、選択プロセスの信頼性評価。
- ・4つの相補的な指標（PBO、劣化度、損失確率、確率的優位性）による多角的な分析。
// Result
144通りのMAクロス戦略を用いた実験により、選択バイアスの実態を定量的に明らかにした。統計的な優位性と経済的な収益性の乖離が示された。
- ・IS Sharpe 0.75の戦略が、OOSでは平均0.12まで劣化（約84%の消失）。
- ・簡易PBOは5.71%だが、OOS損失確率は35.71%に達する。
- ・「順位が上位でも、絶対リターンはマイナスになり得る」ことを実証。
Senior Engineer Insight
> AIによる自動生成ルールが主流となる中、PBOは必須の検疫プロセスとなる。ただし、CSCVを最適化の目的関数に組み込む「指標への過学習」は厳禁だ。また、スプレッドやスリッページ等の実運用コストを無視した検証は、いかなる統計的厳密性をもってしても無価値である。実戦では、統計的有意性と経済的合理性の両面を監視せよ。