【要約】OCI の Cohere Embed 4 のミックスモーダル埋め込みの威力を試してみた！ [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
検索エンジンの開発者が、画像とテキストを組み合わせた高度な検索を実現しようとする際、モダリティごとの統合プロセスが課題となる。従来のマルチモーダル手法では、以下の問題に直面していた。
- ・画像とテキストを個別にベクトル化し、後段で重み付けして統合する複雑なチューニングが必要となる。
- ・画像単体では、図表内の概念（例：LLMの推論フロー）をテキストクエリで正確に捉えられない。
- ・モダリティごとに異なるベクトル空間を扱うため、検索精度の制御が困難である。
// Approach
検証者は、OCIのCohere Embed 4が提供する新機能を用い、テキストと画像を単一のベクトルに変換する手法を試した。具体的には以下の手順で検証を行った。
- ・OCI Python SDKの
embedContentsパラメータを使用し、テキストと画像を1つの配列にまとめてリクエストを送信する。 - ・画像はBase64エンコードしたData URL形式で、テキストは内容を記述したMarkdown形式で用意する。
- ・「画像のみ」と「画像＋テキスト」の2パターンで埋め込みを生成し、テキストクエリとのコサイン類似度を比較する。
// Result
検証の結果、画像にテキスト情報を付加することで、検索精度が劇的に向上することが判明した。LLMの推論に関するスライドを用いたテストでは、以下の成果が得られた。
- ・画像のみのコサイン類似度：0.22
- ・画像＋テキストのコサイン類似度：0.43
- ・類似度が約1.9倍に向上し、画像単体では表現しきれない意味をテキストで補完できることが実証された。
- ・Matryoshka Embeddings対応により、出力次元数を調整してコストと精度のバランスを制御できることが確認された。
Senior Engineer Insight
> RAGの精度向上において、図表を含むドキュメントの処理は極めて重要だ。本機能は、画像とテキストの統合プロセスをAPIレベルで抽象化しており、開発コストを抑えつつ検索性能を底上げできる。特にMatryoshka対応による次元数調整は、ベクトルDBのストレージコストと検索レイテンシを制御する上で、実戦投入時の強力な武器となる。図表の多いPDFを扱うシステムでは、OCR結果と画像をミックスモーダルで埋め込む構成が極めて有効だろう。