【要約】LLMコストを最適化する？ AI Routerを実装してみた [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
LLMを利用する開発者は、モデル選択の固定化によるコストと性能の不一致に直面している。特定のモデルを使い続けることで、以下のような問題が生じる。
- ・簡単な質問に対し、高価で低速な高性能モデルを使い続けてしまう。
- ・複雑なタスクに対し、低性能なモデルを割り当ててしまう。
- ・モデルの切り替えが手間で、運用の最適化が困難になる。
// Approach
開発者は、プロンプトの内容から最適なモデルを自動選出する「cobaiter」を実装した。LiteLLMの前段にリバースプロキシとして配置し、以下の手法を用いる。
- ・Embeddingを用い、質問の「関連性」と「難易度」を算出する。
- ・モデルの能力（tier）とコストを考慮した決定論的な数式で、適合度を計算する。
- ・会話の一貫性を保つため、文脈の変化がない限り同一モデルを継続利用する。
- ・モデルの用途やコストは、外部のYAMLファイルで管理する。
// Result
cobaiterの導入により、タスクの性質に応じた動的なモデル選出が実現した。検証の結果、以下の成果が得られている。
- ・挨拶には軽量なローカルモデル、高度な物理学の質問には高性能なクラウドモデルが適切に選出された。
- ・ルーティングによる追加レイテンシを40-50ms程度に抑え、実用性を確保した。
- ・外部設定により、コードを変更せずにモデルの挙動を調整できる。
Senior Engineer Insight
> 判定に生成系LLMを使わず、Embeddingと決定論的な計算に絞った設計は極めて合理的だ。これにより、ルーティングのレイテンシを40-50msに抑え、コスト増を最小化している。実戦投入には、Embeddingの精度管理と、モデル定義（task_examples）のメンテナンス体制の構築が不可欠となるだろう。