【要約】AIエージェントの“根拠の捏造”を、テスト駆動で見つけて自動修正（86%→0%）― DataRobot Tensile [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
生成AIエージェントを実業務へ導入しようとするエンジニアが、エージェントの挙動の不安定さに直面している。従来のプロンプトエンジニアリングでは、改善の効果を客観的に測定できないという課題がある。
具体的には以下の問題が発生している。
具体的には以下の問題が発生している。
- ・実行のたびに挙動が変わる非決定性の問題
- ・手順のスキップや、根拠を捏造するハルシネーションの問題
- ・プロンプト修正による改善効果を、数値で示せない問題
// Approach
Tensileは、エージェントの実行ログをテスト資産に変える「テスト駆動開発（TDD）」の手法を採用している。エンジニアが失敗パターンを定義し、統計的なリプレイによって改善を検証するプロセスを提供する。
具体的な手法は以下の通りである。
具体的な手法は以下の通りである。
- ・TrajectoryLoggingを用いて、LLMの対話ログをステップ単位で記録する
- ・Motifを用いて、繰り返される失敗パターンを検知コードとして定義する
- ・Annotationを用いて、失敗が発生した特定の軌跡とステップにタグを付ける
- ・Replayを用いて、履歴に基づき応答を再サンプリングし、失敗発生率を測定する
- ・Autopilotを用いて、分析から修正、再検証までのループを自動化する
// Result
金融機関向けのAML（アンチマネーロンダリング）調査エージェントを用いた検証において、劇的な精度向上が確認された。プロンプトに数行のルールを追加するだけで、以下の成果が得られた。
- ・STR判定における根拠の捏造率：86%から0%へ改善
- ・STR判定における正答率：14%から100%へ改善
- ・AML調査の早期放棄率：100%から7%へ改善
Senior Engineer Insight
> エージェントの品質保証における最大の課題は、非決定的な挙動の定量化だ。Tensileは、実行ログを「Motif」として構造化し、統計的に検証可能にした点で極めて実戦的である。特に、プロンプト修正の効果を「86%→0%」といった数値で示せる点は、CI/CDへの組み込みを容易にする。ただし、失敗パターンを検知するコード（Motif）の記述にはエンジニアの工数がかかる。この検知ロジックの抽象化や自動化が、大規模運用における鍵となるだろう。