【文書検索において高速(200~800x)・高性能な独自の静的埋め込み機構】SSE: Stable Static Embedding Technical Report
> Source: Qiita_Trend_RSS
Execute Primary Source
// Problem
静的埋め込みは高速だが、表現力が低く、埋め込み空間における次元間の不均衡（異方性）や学習時の勾配不安定性が課題であった。これにより、高精度な文脈エンコーダーとの性能差が生じていた。
// Approach
各次元に対して独立にスケーリング、シフト、振幅を制御する学習可能パラメータを持つ「Separable DyT」を導入。強度依存型のゲート機構により、ノイズの多い次元の勾配を抑制し、安定した次元の勾配流を維持する。
// Result
16Mの軽量なパラメータ数で、NanoBEIR Englishにおいて0.512のnDCG@10を達成。従来の静的埋め込みより高速かつ高精度であり、Matryoshka Embeddingにも対応し、実用的な検索性能を実現した。
Senior Engineer Insight
> 正規化をグローバルではなく次元ごとに適応させる設計が、計算コストを抑えつつ表現の幾何構造を改善する鍵である。静的モデルの限界を、アーキテクチャの複雑化ではなく、勾配制御の最適化で突破した点が秀逸だ。