【要約】Milvus 2.6 で「接着剤コード」を捨てる ② Lexical Highlighting [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
検索システムの開発者やRAGの運用者は、検索結果の根拠が不明確であるという課題に直面している。ユーザーが結果の妥当性を判断できず、信頼性が低下するケースが多い。具体的には以下の問題がある。
- ・検索結果のどの部分がクエリに適合したか視覚的に不明。
- ・RAGにおいて、取得されたチャンクの適合性を検証しにくい。
- ・大量のログから特定パターンを探す際の認知負荷が高い。
// Approach
Milvus 2.6は、全文検索リクエストにハイライト設定を組み込む手法を採用した。BM25ロジックを用いて、マッチした部分文字列の位置情報を特定する。具体的な手順は以下の通りである。
- ・
LexicalHighlighterをインスタンス化する。 - ・ハイライト対象のクエリと、囲みタグ（
pre_tags,post_tags）を指定する。 - ・検索リクエストのパラメータとして、作成したインスタンスを渡す。
// Result
この機能の導入により、検索結果の解釈可能性と開発のデバッグ効率が向上する。ユーザーは検索意図と結果を即座に照合できる。また、開発者は以下の成果を得られる。
- ・RAGパイプラインにおける誤検出や弱いマッチの迅速な診断。
- ・UI上での検索結果の関連性の可視化によるクリック率向上。
- ・日本語環境でも、適切な辞書選定により実用的な表示を実現。
Senior Engineer Insight
> RAGの信頼性向上において、検索根拠の可視化は不可欠だ。ただし、本機能はBM25限定であり、ベクトル検索には適用できない点に注意せよ。日本語環境では、形態素解析の精度がUXを直結する。Lindera等の辞書選定（ipadic-neologd等）を設計段階から組み込むべきだ。ハイライトの品質確認は、そのまま全文検索の品質確認となる。