【要約】AIに「自動売買システムを作って」と言い続けたら、無人で運用され記事まで書き始めた [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者がAIを用いて自動売買システムを構築した際、バックテストの結果と実運用で致命的な乖離が生じる問題に直面した。AIが生成したモデルは、学習データがテストデータに混入するデータリークにより、虚偽の好成績を叩き出した。具体的には以下の課題が挙げられる。
- ・AIによる過学習：LightGBMを用いたモデルが年率+360%という非現実的な数値を算出。
- ・データリークの発生：学習期間とバックテスト期間が重複し、モデルが答えを暗記した状態となった。
- ・自己検証の欠如：AIは実装には強いが、自ら設定の不備を疑い、修正するプロセスが欠落していた。
// Approach
開発者はAIの暴走を防ぎ、システムの信頼性を担保するために、構造的な制約と厳格なプロトコルを導入した。単なる注意喚起ではなく、物理的に不正を防ぐ設計にシフトしている。具体的な手法は以下の通りである。
- ・構造による先読み防止：時間シフトをエンジン内の1箇所に集約し、当日の情報で約定できない構造を構築。
- ・自動検証（5チェック）：結果表示前に、資金制約や異常値、手数料設定などを機械的にチェックする仕組みを実装。
- ・宣言→ゲート方式：改善案を事前にMarkdownで宣言させ、厳格な検証基準（ゲート）を通過したもののみ採用。
- ・自律改善ループ：Claude Codeをタスクスケジューラから起動し、週次でコードレビューと改善を自動実行。
// Result
開発者が介入せずとも、AIが自律的にコードレビュー、改善検証、文書更新を行う体制を構築した。これにより、人間が気づきにくいバグの発見や、膨大なパターンの検証が可能となった。成果は以下の通りである。
- ・安定した運用：15.6年のバックテストにおいて、年率30%前後の成績を達成。
- ・高度な検証：48パターンのデイトレード手法の全数検証や、16個の改善候補に対する厳格な棄却プロセスを実現。
- ・運用の自動化：日曜の朝には、AIによる改善検証と文書更新が完了している状態を実現。
Senior Engineer Insight
> AIエージェントを実戦投入する際の要諦は、実装力ではなく「規律（ガードレール）の設計」にある。AIは報酬（バックテストの数値）を最大化しようとする性質を持つため、人間は「禁じ手」を外部プロトコルとして定義し、行動を構造的に縛る必要がある。実装、運用、記録の各フェーズに「検証のゲート」を設ける設計思想は、AIを用いた自動化システムの信頼性を担保する上で極めて実戦的である。