【要約】文章も画像も同じ"ものさし"で！Gemini Embedding 2 のマルチモーダル検索を試してみた [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
従来の検索システム開発において、エンジニアはデータ形式ごとに異なる埋め込みモデルを使い分ける必要があった。これにより、形式を跨いだ高度な検索を実現する際に、以下の課題に直面していた。
- ・テキスト、画像、動画などの形式ごとに「ものさし（ベクトル空間）」が異なっていた。
- ・形式を跨いだ検索を行うには、複数のモデルを組み合わせる複雑な実装が必要であった。
- ・モデルの組み合わせにより、検索精度の低下や開発コストの増大が生じていた。
// Approach
本記事では、Googleが発表したマルチモーダル対応の「Gemini Embedding 2」を用いて、全データを単一の基準で数値化する手法を検証した。
- ・単一のモデルと1回の呼び出しで、テキスト、画像、動画、音声、PDFをベクトル化する。
- ・Pythonの
google-genaiSDKを使用し、Vertex AI経由で埋め込み処理を実行する。 - ・出力された3,072次元のベクトルに対し、コサイン類似度を用いて意味の近さを測定する。
// Result
検証の結果、異なるモダリティ間でも意味の整合性が保たれていることが確認された。
- ・猫の画像、PDF、音声のいずれも、テキストの「猫」に対して最も高い類似度を示した。
- ・実用事例では、アパレル企業Nuulyの商品一致率が60%から87%へ向上した。
- ・Supermemoryでは、検索の的中率（Recall@1）が約40%向上した。
Senior Engineer Insight
> 3,072次元という高次元出力は、検索精度と計算コストのトレードオフを意味する。大規模トラフィック環境では、次元圧縮（768/1,536次元）によるレイテンシ改善を検討すべきだ。単一モデルによるクロスモーダル検索の実現は、RAGのパイプラインを劇的に簡素化し、開発体験を向上させる。実戦投入時は、モダリティギャップによる精度の微差を考慮した設計が求められる。