【要約】新しいチェック観点を足す前に、既存設計書を整える。設計工程を42回やり直して測った話 [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
GMOコネクトのエンジニアが、外部連携試験においてAPIの改修漏れが多発した際、その再発防止策の有効性を判断できずに直面した課題である。従来の経験則に基づく対策では、以下の問題が発生していた。
- ・再発防止策（チェックリスト追加や資料整備）のどれが、具体的にどれほど効くのかが不明確である。
- ・設計漏れの原因が、チェックリストの不足なのか、現行仕様の把握不足なのかを切り分けられない。
- ・人間による設計のやり直しはコストが高すぎて、定量的な比較実験を行うことが困難である。
// Approach
設計工程の品質管理における対策の効果を測定するため、AIエージェント（Claude Code）を用いた大規模な比較実験を採用した。著者は、事故が起きる前のコミットから設計をやり直させる手法を構築した。
- ・AIエージェントに「改修対象の洗い出し」を指示し、独立したセッションで条件を変えて42回試行した。
- ・チェックリストの改善として、「洗うべき層の列挙」および「観点の具体的な手順化」を実施した。
- ・既存ドキュメントの整備として、静的解析による「現況の書き出し」および「決定事項の整理」を実施した。
- ・「網羅率」と「精度」の2軸を用い、設問の型（母集団の確定 vs 影響範囲の探索）ごとに効果を測定した。
// Result
実験の結果、対策の目的（問いの型）に応じて、採用すべき手法が明確に異なることが判明した。
- ・「不要機能の削除」など、母集団を確定させる問いには、静的解析による既存ドキュメントの整備が極めて有効であった。
- ・「影響範囲の探索」など、探索を伴う問いには、チェックリストを「手順」として記述する方法が有効であった。
- ・資料を過剰に投入すると、誤検出が倍増するという副作用も確認された。
- ・設計の網羅性を上げるだけでなく、決定事項の版管理や機械照合も品質維持には不可欠である。
Senior Engineer Insight
> 設計品質の向上を「観点の追加」という精神論に逃げず、AIを用いた定量的なベンチマークで解明した点は極めて高く評価できる。特に、新しい観点を考えるよりも、静的解析で「現況を書き出す」方が低コストで高効果であるという結論は、レガシー刷新の現場において極めて重要な示唆だ。ただし、資料の過剰投入がノイズを増やす副作用には注意が必要である。情報の「量」を増やすのではなく、問いの型に合わせて「適切な構造の情報を、適切なタイミングで渡す」設計プロセスを構築することが、実戦における鍵となる。