【要約】2億件超のビジュアル検索をどう支えるか：123RFがZilliz Cloudへ移行した理由 [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
123RFは、2億件を超える膨大な素材に対し、OpenSearchとKNNプラグインを用いた検索基盤を運用していた。しかし、データ量の増大に伴い、以下の技術的課題に直面した。
- ・インフラコストの急増：データ量に比例して月額コストが膨大になった。
- ・検索性能の不安定化：実トラフィック下でレイテンシが予測困難になった。
- ・更新と検索の競合：大規模なインデックス更新時にノード障害が発生した。
// Approach
123RFは、検索基盤をフルマネージド型のベクトルデータベースであるZilliz Cloudへ移行することで、課題解決を図った。
- ・専用DBの採用：Milvusを基盤とするZilliz Cloudにより、大規模データへの対応力を確保した。
- ・データ取り込みの最適化：Bulk Import機能を用い、数千万件のデータを数時間で取り込む体制を構築した。
- ・ランキングの高度化：ベクトル類似度にビジネスルールを組み込むカスタムBoost Rankerを導入した。
// Result
123RFはZilliz Cloudへの移行により、検索基盤の性能とコストの両面で劇的な改善を達成した。
- ・レイテンシの改善：平均検索レイテンシを100msから30〜50msへ短縮した。
- ・コストの削減：検索インフラコストを50%以上削減した。
- ・運用の安定化：インデックス更新時のノード障害を解消し、検索の継続性を確保した。
Senior Engineer Insight
> 汎用検索エンジンのKNN拡張は、億単位のデータでは限界がある。本事例は、性能、コスト、運用の臨界点を明確に示している。特にインデックス更新時のノード障害は、可用性を損なう致命的な問題だ。専用DBへの移行は、単なる性能向上ではない。ビジネスロジックの統合と運用負荷の軽減、すなわちエンジニアリングリソースの最適化という観点からも極めて合理的な判断である。