社内FAQボットを作っていたら、"エージェントハーネス"が出来上がっていた話
> Source: Qiita_Trend_RSS
Execute Primary Source
// Problem
社内SaaSの仕様に関する問い合わせ対応が開発者の工数を圧迫していた。LLMを用いた自動回答ボットを導入したが、当初は精度が低く、人間による再確認が必要なため、工数削減に至らないという課題があった。
// Approach
LLM本体の改良ではなく、周辺インフラの整備に注力した。具体的には、質問の分類精度向上、ナレッジドキュメントのエントリポイント標準化、解決済み案件のFAQ化、横断的な調査ルールの策定、および週次での自動評価サイクルを構築した。
// Result
質問の正分類率が向上し、ナレッジの活用率も改善した。従来、人間が60〜94時間を要していた頻出質問の解決がFAQにより即答可能となり、精度改善サイクルも手動から週次の自動運用へと移行した。
Senior Engineer Insight
> AIエージェントの価値はモデル単体ではなく、それを包み込む「ハーネス」の設計に依存する。周辺環境の整備こそが、実用的な精度と運用性を担保する鍵である。