【要約】BedrockのOpenAIモデルでWeb検索が使えるようになったので、Tavilyと⽐べてみた [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
開発者がLLMに最新情報を取得させる際、検索精度の確保と実装コストのバランスに直面している。具体的には以下の課題が挙げられる。
- ・外部検索APIを利用する場合、検索と推論の2段階処理が必要となり、実装の複雑化とレイテンシ増大を招く。
- ・AWS内での完結を求めつつ、検索の正確性と最新情報の取得を両立させる手法の選定が困難である。
- ・モデルが検索を不要と判断してスキップする挙動により、回答の正確性が低下するリスクがある。
// Approach
筆者が、最適な検索手法を決定するために、Bedrockの組み込み機能と外部API利用の3パターンを定量的に比較した。比較の手法は以下の通りである。
- ・「Bedrock Web Search」「Nova Web Grounding」「Tavily + Claude」の3手法を設定。
- ・220問（日本語・英語）の質問セットを用い、LLM-as-a-Judgeにより4つの評価軸で採点。
- ・Mann-Whitney U検定を用いて、スコアの有意差を統計的に検証。
// Result
検証の結果、用途に応じてBedrock Web SearchとTavily + Claudeを使い分けるべきであることが判明した。
- ・Bedrock Web Searchは、事実正確性と網羅性に優れ、AWS内完結による高いコンプライアンスを実現する。
- ・Tavily + Claudeは、引用品質と情報鮮度に優れ、特に日本語での検索において高い安定性を示す。
- ・Nova Web Groundingは、平均6秒と最速だが、品質面では他の2手法に劣る。
Senior Engineer Insight
> 実務導入では、データの機密性と検索精度のトレードオフが鍵となる。コンプライアンス重視ならBedrock Web Searchだが、検索スキップ対策としてtool_choiceによる強制やリトライ設計が必須だ。一方、日本語の最新情報を扱うプロダクトなら、レイテンシを許容してでもTavilyを選択すべきだろう。単一の指標ではなく、言語特性とユースケースに基づいた使い分けが求められる。