【要約】エージェントのどこが壊れているのか — DeepEval で推論・行動・全体を層別に評価する [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
AIエージェントの開発者が、出力の品質低下に対して原因を特定できない問題に直面している。最終的な回答の良し悪しだけでは、どのプロセスが失敗したのか判別できないためだ。
- ・失敗箇所が多岐にわたる（計画、ツール選択、引数、ループの停滞）。
- ・失敗が下流へ伝播し、原因の切り分けが困難になる。
- ・単一のスコアでは、具体的な修正アクションに繋がらない。
// Approach
DeepEvalを用いて、エージェントの処理を3つの層に分解して評価する手法を採用している。層ごとに異なるメトリクスを適用することで、原因の特定を可能にする。
- ・推論レイヤー：PlanQualityMetric等で計画の妥当性を評価。
- ・行動レイヤー：ToolCorrectnessMetric等でツールの正確性を評価。
- ・実行全体：TaskCompletionMetric等で最終成果と効率を評価。
- ・カスタム要件：DAGで客観的要件を、G-Evalで主観的要件を評価。
// Result
エージェント開発者は、評価結果から具体的なボトルネックを特定できる。これにより、闇雲な修正を避け、効率的な改善サイクルを回せるようになる。
- ・「計画は良いがツールが誤っている」といった原因診断が可能。
- ・DAGとG-Evalの併用により、社内規定の遵守と文章の質を両立。
- ・正解データなし（Referenceless）での実用的な評価を実現。
Senior Engineer Insight
> 評価の粒度向上はデバッグ効率を劇的に高める。しかし、@observeによるトレース取得の工数と、評価用LLMのコスト増は無視できない。実運用では、全件評価ではなく、重要な変更時やサンプリング評価に絞るなどのコスト管理が鍵となる。