【要約】大規模ベクトル検索における On-Demand という選択肢：使う時だけ計算する Zilliz Cloud [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
ベクトルデータの規模拡大に伴い、利用頻度の異なるチーム間でコストと性能のジレンマが生じている。
- ・本番検索チームは低レイテンシのため、常時稼働のDedicatedクラスターを必要とする。
- ・分析チームは断続的な大規模検索を行うが、常時稼働では計算リソースが無駄になる。
- ・Serverlessは、大規模データや高頻度処理において単価が高騰するリスクがある。
- ・例として、月数時間の分析のために月額7,000ドルのコストが発生するケースがある。
// Approach
Zilliz Cloudは、データと計算を分離し、計算リソースをセッション単位で動的に管理する手法を採用した。
- ・データの細分化：IVF系インデックス等を用い、検索に必要な部分のみを読み込む。
- ・階層キャッシュ：S3、ローカルディスク、メモリを組み合わせ、必要なデータのみを移動させる。
- ・リソース管理：分析やテスト等のワークロードごとに、独立した計算セッションを起動・解放する。
// Result
特定のワークロードにおいて、計算コストを劇的に削減できることが示された。
- ・自動運転の例では、月額7,000ドルのDedicatedに対し、On-Demandは500ドル未満に抑えられた。
- ・データコピーやインデックス再構築の手間を省き、同一データ基盤での柔軟な運用を実現した。
Senior Engineer Insight
> 本構成は、計算とストレージの分離を極限まで突き詰めた設計だ。大規模データの分析と本番検索を、同一データ上で低コストに両立させる点は、実運用における現実的な解だ。ただし、起動時のレイテンシが要件を満たすかは検証が必要である。インフラ管理を簡素化しつつ、コスト効率を最大化できるため、RAGの評価基盤等に極めて有効である。