【要約】ベクトルDBとは何か — ”映画レコメンダーを作ってわかったこと” [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
従来のキーワード検索では、言葉の表面的な一致のみを判定するため、意味的に近いコンテンツを抽出できない問題がある。検索エンジンの開発者は、以下の課題に直面する。
// Approach
開発者は、テキストを多次元の数値配列(ベクトル)に変換し、空間上の距離で類似性を判定する手法を採用している。具体的な実装ステップは以下の通りである。
// Result
映画レコメンダーの実装により、キーワードに依存しない「意味に基づいた」レコメンドが可能となった。開発者は以下の成果を得ている。
Senior Engineer Insight
> 実戦投入においては、Embeddingモデルの選定と運用設計が成否を分ける。モデル変更時に全データの再投入が必要となる点は、データパイプライン設計上の大きなリスクだ。また、ChromaDBはPoCには最適だが、100万件を超える規模ではPinecone等のマネージドサービスへの移行を前提とした設計を検討すべきである。検索レイテンシを抑えるため、検索時にLLMを介さない設計は必須の鉄則といえる。