【要約】#3 「動いている」と「正しい」は別物だった——バックテストで詰まった2パターン [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者が、AIを用いた自動売買システムのバックテストにおいて、計算結果が現実と乖離するという問題に直面した。主な課題は以下の通りである。
- ・設計の言語化不足：損切り判定のタイミング等の詳細仕様がAIに伝わっていなかった。
- ・責務の重複：資金管理の定義が複数箇所に存在し、バックテストエンジンが設定値を無視していた。
- ・実装経路の断絶：新しい判断材料を定義しても、使用側の関数が古いリストを参照し、エラーなくスキップされていた。
// Approach
開発者は、バグの発生パターンを分類し、設計の解像度向上と実装経路の検証という二段構えのアプローチをとった。具体的な手法は以下の通りである。
- ・仕様の明文化：コード化の前に、取引時間中の挙動等を言語化してAIに指示する。
- ・挙動の再確認：実装後、AIに対して「実際の動き」を問いかけ、頭の中で動作を再生する。
- ・環境間の整合性確保：バックテスト、検証環境、本番環境で、データ取得経路が同一であることを保証する。
// Result
開発者は、バグの根本原因を特定し、実運用における銘柄選定の停止状態を解消することに成功した。具体的な成果は以下の通りである。
- ・バグのパターン化：問題の所在を「設計」か「実装経路」かに切り分ける手法を確立した。
- ・検証手法の確立：開始資金の変更など、想定外の条件でのテストが設計理解に有効だと判明した。
- ・実運用への復旧：修正により、kabuステーションAPI経由のデータ取得経路の不備を解消した。
Senior Engineer Insight
> AI駆動開発において、設計の解像度が低いまま実装を委ねることは極めて高いリスクを伴う。特に「エラーを出さずに処理をスキップする」設計は、静かなるシステム崩壊を招く。大規模な取引環境では、バックテストの成功は通過点に過ぎない。データパイプラインの末端まで、入力から出力の整合性を担保する厳格なテスト設計が不可欠である。