【要約】正しい記憶でも、そのまま引き継ぐのは怖い：TiDBで作る HandoverGap RAG [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
RAG開発者が、検索結果の正確性のみを評価しているため、業務上の引き継ぎにおいて不完全な情報が渡されるリスクがある。検索結果が事実として正しくても、後任者が判断を下すための前提条件が欠けている場合、重大な事故を招く。
- ・後任者の役割に応じた情報の不足（Tacit Context Gap）。
- ・LLMによるもっともらしい情報の補完による誤判断。
- ・「なぜ回答を止めたか」という判断プロセスの不透明性による信頼性の欠如。
// Approach
著者は、RAGの回答前に情報の充足度を検査するゲートを設置する手法を提案した。この手法では、後任者の役割に基づき必要な情報を定義し、不足があれば回答を保留する。
- ・役割別の必須スロット（権限、エスカレーション先等）の定義。
- ・LLMを用いたスロット埋めと、不足情報のGap検出。
- ・不足情報を確認質問へ変換し、回答を保留する制御。
- ・TiDBを用いた、スロット、証拠、Gap、質問、判断結果の一貫した監査ログ管理。
- ・SQL、ベクトル検索、JSONを統合したTiDBによる監査基盤の構築。
// Result
合成データを用いた比較実験により、HandoverGap RAGの有効性が示された。Naive RAGやHybrid RAGと比較して、不足情報の検出や安全な転送の阻止において高い性能を発揮した。
- ・Tacit Gap Recallにおいて、HandoverGapは1.00を記録。
- ・Unsafe Transfer Preventionにおいても、既存手法を上回る結果。
- ・TiDBによる監査クエリにより、判断の根拠をSQLで追跡可能。
- ・adversarial splitを用いた検証により、機構の限界も明確化。
Senior Engineer Insight
> 実運用では、LLMが「空気を読んで」不足情報を勝手に埋めるリスクに注意すべきだ。本記事の「回答を止める」設計は、高信頼性が求められる業務システムにおいて極めて実践的である。また、TiDBを判断プロセス全体の監査基盤として扱う設計は、透明性と説明責任を担保する上で非常に優れたアプローチだ。