【要約】Milvus 2.6 で「接着剤コード」を捨てる ③ N-gram インデックスと日本語全文検索 [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
日本語の検索システムを構築する開発者は、検索精度と速度のトレードオフという課題に直面する。従来の検索手法では、以下の問題が発生しやすい。
- ・形態素解析による検索漏れ：辞書にない新語や型番が正しく分割されない。
- ・中間一致の低速化：LIKE検索が全走査となり、大規模データでレイテンシが悪化する。
- ・表記揺れへの弱さ：全角半角、長音、異体字などの揺れにより、意図した結果が得られない。
// Approach
Milvus 2.6のN-gramインデックスを活用し、用途に応じた検索戦略の最適化を図る。具体的には以下のステップで実装を行う。
- ・検索手法の使い分け：語単位の検索にはBM25、部分一致や型番検索にはN-gramを採用する。
- ・スキーマ設計による正規化：表示用、検索用（正規化済み）、サジェスト用（読み仮名）のフィールドを分離して保持する。
- ・クライアント側での対称性確保：投入時とクエリ時に、NFKC等の同一の正規化関数を必ず適用する。
// Result
適切なインデックス設計により、大規模なテキストデータに対する部分一致検索の劇的な高速化が実現する。
- ・検索性能の向上：転置インデックスにより、全走査を回避し低レイテンシを実現する。
- ・検索精度の向上：ベクトル検索の事前フィルタとしてN-gramを用いることで、精度と速度を両立できる。
- ・ユーザー体験の改善：読み仮名フィールドの活用により、日本語入力中のオートコンプリートが可能になる。
Senior Engineer Insight
> N-gramは強力だが、インデックスの肥大化と偽候補の発生という代償を伴う。実戦では、すべてのフィールドに張るのではなく、ワイルドカード検索が頻発するフィールドに限定すべきだ。また、日本語の表記揺れ対策をアナライザに頼らず、スキーマ設計（正規化済みフィールドの分離）で解決するアプローチは、運用上の対称性を保つ上で極めて合理的である。ベクトル検索とのハイブリッド運用は、現代的な検索基盤のスタンダードとなるだろう。