【要約】ユーザー役のLLMを変えたら、エージェントの性能差が消えた — τ²-benchで実測 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
LLMエージェントの開発者は、エージェントの真の性能を正確に把握したいと考えている。しかし、対話相手のユーザー役もLLMであるため、以下の課題が生じる。
- ・ユーザー役のモデル特性が、エージェントのスコアを不当に変動させる。
- ・ユーザーが承諾直後に会話を終了し、エージェントの実行機会を奪う。
- ・軽量なユーザー役がタスクの意図を正しく演じられず、評価を歪める。
// Approach
筆者は、ユーザーシミュレータの選択が評価結果に与える影響を明らかにするため、比較実験を行った。τ²-benchを用い、以下の手順で検証した。
- ・エージェントを固定し、ユーザー役を6種類のLLM（モデルファミリー×能力）に切り替える。
- ・成功率（pass^1, pass^8）を測定し、統計的な有意差を確認する。
- ・失敗した会話ログを分析し、失敗のメカニズムを分類する。
// Result
実験により、ユーザーシミュレータの選択がエージェントの性能差を隠蔽することが実証された。
- ・Gemini Proをユーザーにすると、エージェント間の性能差が消失した。
- ・強力なユーザーほど、エージェントの成功率が高まる傾向がある。
- ・軽量ユーザーは、タスク定義から逸脱する「意図の演じ損ね」で評価を壊す。
Senior Engineer Insight
> 評価系は「測定器」そのものである。エージェントの性能を議論する前に、評価基盤の構成が固定されているかを疑え。特に、ユーザー役の「演技の忠実性」を検証する工程を評価パイプラインに組み込むべきだ。さもなくば、我々はエージェントの性能ではなく、測定器の個体差を評価することになる。