【要約】OCI GenAI Agents の RAG の回答精度を上げるなら、生成モデルよりハーネスだった [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
開発者がOCI GenAI AgentsでRAGを構築した際、関数ツールの追加に伴う回答精度の劣化に直面した。ツールを導入したことで、本来期待される詳細な回答が得られなくなる問題が発生した。
- ・回答が極端に短くなり、解説が消失してSQLのみになる。
- ・回答が英語のみになる、あるいは日本語の表記が崩れる。
- ・実在しないビュー名などの「引っかけ」に対し、誤った情報を生成する。
// Approach
検証者は、問題の根本原因を特定するため、変数を一つずつ制御する比較実験を実施した。モデルの性能やツールの構成を段階的に変更し、挙動の変化を定量的に測定した。
- ・生成モデル（Llama 3.3 70B / GPT-OSS 120B）の差し替え。
- ・RAGツールと関数ツールの分離による影響確認。
- ・関数ツールを使わず、制御側で2往復の処理を行う「ハーネス」方式の採用。
// Result
検証の結果、モデルの性能に依存せず、制御フローを改善することが精度向上に直結することが判明した。OCIの制約下で高精度なRAGを構築したいエンジニアにとって、ハーネス方式は極めて有効な解決策となる。
- ・ハーネス方式により、引っかけ問題への正解率が4/4となった。
- ・関数ツール方式では、モデルの判断に関わらず回答の短縮や英語化が発生した。
- ・モデルのティアを上げるより、ハーネスによる制御を行う方が現実的な改善策である。
Senior Engineer Insight
> 実戦投入において、モデルの自律性に精度を委ねるのはリスクが高い。特にエンタープライズ用途では、モデルがツールを呼ぶかどうかを判断する「不確かさ」を排除すべきだ。制御側で検証を強制する「ハーネス」によるガードレール設計は、信頼性の高いRAG構築において不可欠なアーキテクチャである。モデルの性能向上を待つよりも、設計で解決する方が開発効率と信頼性の両面で優れている。