【要約】Codexの終了後に成果物を確認する｜Pythonで欠落・空ファイル・必須項目をチェック [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
AIエージェントを利用する開発者が、実行完了後に期待した成果物が得られない問題に直面している。Codexが終了コード0を返しても、ファイルが未作成である事例がある。
- ・AIの非決定性による成果物の欠落。
- ・前回のファイルが残ることで発生する誤判定。
- ・APIコストを支払った後の成果物未生成リスク。
// Approach
開発者は、Pythonを用いて成果物の整合性を自動検証する手法を採用した。出力先を毎回新規作成し、環境のクリーンさを保つ。
- ・
pathlibによるファイル存在確認。 - ・ファイル内容が空でないかのチェック。
- ・必須見出し（## 結論等）の有無を判定。
- ・検証失敗時に
SystemExitで後続処理を停止。
// Result
検証スクリプトの導入により、成果物の品質を自動で判定できるようになった。失敗ケースを網羅したテストにより、判定の正確性を確保している。
- ・4段階の判定結果（
MISSING等）を返却。 - ・不備がある場合に後続処理を確実に停止。
- ・自動化フローへの組み込みが容易。
Senior Engineer Insight
> AIの出力を盲信しない防御的設計が不可欠だ。本手法は低コストでパイプラインの信頼性を高める。ただし、見出しの有無のみを判定するため、内容の論理的妥当性は別途検証が必要だ。実戦ではLLMによる自己検閲を組み合わせるべきだろう。