動かして初めて分かること ── シリーズ総括とソクラテスの現在地【RAG開発記 Vol.9】 | TechDistill

> Source: Zenn_Python

// Problem

LLMのモデル進化により、指示を無視して丁寧すぎる回答を行う「賢さゆえの暴走」が発生し、出力トークンが膨張する問題が生じた。また、ドメインごとに情報の抽象度が異なるため、固定のコサイン類似度閾値では、正当な質問の拒絶や無関係な質問の通過を制御できない課題も浮き彫りとなった。

// Approach

出力制御には、プロンプト、max_tokensによる物理的切断、再生成による検証からなる「三層防御」を採用。制約については、制御困難な文字数ではなく、LLMが扱いやすい文数による構造的制約へ転換した。また、閾値の正解を求めるのではなく、ユーザーが動的に調整可能なUIを実装することで、ドメイン間の差異を吸収した。

// Result

モデルのアップデートによる挙動の変化を許容しつつ、システムの安定性を維持する設計を確立。ドメイン拡張性や、ベクトルDBとメタデータの不整合（亡霊現象）への対処法についても言及し、RAG開発における「動く」から「運用可能」への昇華プロセスを体系化した。

Senior Engineer Insight

> LLMの「賢さ」がシステムの破壊要因になるという指摘は、実戦におけるモデル移行の難しさを的確に突いている。プロンプトによる制御（お願い）に依存せず、max_tokensによる物理的切断（衝突安全）を組み込む設計は、高信頼性が求められる現場において極めて妥当な判断である。また、文字数という連続量を文数という離散量に置き換えるアプローチは、LLMの特性を理解した合理的なハックだ。ただし、閾値調整をユーザーに委ねる設計は、運用負荷をユーザーに転嫁している側面もある。大規模展開時には、ドメインごとの閾値を自動最適化する仕組みの検討が必要だろう。