検証しきれない新ロジックを本番に入れる前に、3段構えで「格下げ」する | TechDistill

> Source: Zenn_Python

// Problem

新ロジックのバックテストが時間不足で完了しない場合、未検証のまま投入すれば既存ロジックの精度を汚染するリスクがあり、投入を遅らせれば開発計画が崩れるというジレンマが生じる。特に、決定論的な入力に対する選択問題では、ユーザーを分割するA/Bテストによる評価が困難な場合がある。

// Approach

ロジックの扱いを3段階に分離する。既存ロジック（L0）は維持し、既存ロジックに指標のみを付与する「観察フラグ（L1）」と、計算は行うが結果を最終判定に混ぜない「Shadow実行（L2）」を導入する。事前に数値的な昇格条件を定義し、ログスキーマを物理的に分離することで、本番への影響を遮断しつつ実データによる検証を行う。

// Result

リリース計画を維持したまま、実データに基づいた客観的な検証プロセスを構築できた。これにより、直感ではなく統計的な指標に基づいたロジックの昇格・廃案判断が可能となり、未検証ロジックの導入に伴うリグレッションリスクを極小化することに成功した。

Senior Engineer Insight

> 極めて実践的な設計パターンである。特に、昇格条件を事前に数値化して定義するプロセスは、現場で頻発する「雰囲気によるリリース」という認知バイアスを排除する上で極めて有効だ。ただし、Shadow実行は計算リソースやログストレージを消費するため、大規模環境ではリソースへの影響を厳格に監視する必要がある。また、L1/L2のロジックを物理的に分離する実装の徹底が、本番環境の安定性を担保する鍵となる。決定論的なロジックの検証において、A/Bテストの代替案として非常に強力な武器になるだろう。