【要約】多段階の質疑応答でユーザとの認識齟齬をなくして迅速に課題解決をおこなうAIを作ってみた [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者は、従来のLLMを用いた一問一答形式の対話において、ユーザーとの認識齟齬が生じる問題に直面した。具体的には、以下の課題が挙げられる。
- ・ユーザーが回答に迷う「Openな質問」による対話の停滞。
- ・情報不足のまま回答が生成されることによる、解決策の精度の低さ。
- ・ユーザーの意図とAIの認識が乖離するリスク。
// Approach
開発者は、LangGraphを用いて、状態遷移を制御する多段階の質疑応答ワークフローを構築した。以下の手法を採用している。
- ・LangGraphによる状態遷移管理：AI調査、問題提起、追加質問、解決策提示の各ノードを定義。
- ・Pydanticによる構造化出力：LLMの出力を「不明点の有無」「質問」「提案」に厳格に分類。
- ・プロンプトによる回答形式の制御：Openな質問を禁止し、番号付き選択肢による回答を強制。
// Result
検証の結果、提案手法はユーザーの回答負荷を下げつつ、精度の高い解決策を導き出せることが示された。具体的な成果は以下の通りである。
- ・ユーザーは選択肢から選ぶだけで済み、回答の心理的・認知的負荷が軽減された。
- ・「自分で修理を試みる」といった、より具体的で実用的な解決策の提示が可能になった。
- ・認識の齟齬を最小限に抑え、対話の質が向上した。
Senior Engineer Insight
> 対話回数が増えるため、レイテンシとコストの増大が実運用上の懸念点となる。ターン数増加によるユーザーの離脱リスクを考慮すべきである。Claude 3.5 Haikuのような高速なモデルの採用は、UX維持に有効である。診断業務や要件定義など、精度が重視される領域での適用が極めて有望である。