【要約】CodeRouter の内側 — Anthropic ⇄ OpenAI 双方向翻訳と mid-stream セーフなフォールバック設計 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
LLMエージェント利用時、プロバイダの切断に伴うフォールバックで応答が混ざる「フランケン応答」や、ストリーミング中のタグ除去におけるチャンク分割問題、また小型モデルによる不完全なTool-call形式への対応といった、プロトコル変換と可用性維持における複雑な課題が存在する。
// Approach
IngressとProviderを直交させた2×2のマトリクス設計を採用。最初のコンテンツ送信後は切り替えを禁止する不変項の設定、ステートマシンを用いたSSEフィルタリング、および構造化された刺激を用いた実地プローブによるモデル能力の能動的判定により、高い信頼性と柔軟性を実現した。
// Result
5つの主要依存ライブラリと453本のテストに支えられた、堅牢な非同期パイプラインを構築。プロトコル変換の正確性と、フォールバック時のデータ整合性を両立させ、運用フェーズでのモデル能力劣化を迅速に検知可能な設計を確立した。
Senior Engineer Insight
> 本設計の白眉は、可用性と整合性のトレードオフに対する明確な「不変項」の設定にある。ストリーミング中のフォールバックを「最初のバイト送信後」で制限する判断は、実運用におけるデータ汚染を防ぐ極めて実践的な解だ。また、依存関係を最小限に抑え、テストを階層的に構築する姿勢は、サプライチェーンリスクを最小化しつつ、複雑な非同期処理の信頼性を担保する上で、大規模システム開発における模範的なアプローチと言える。単なるプロトコル変換器に留まらず、運用時のモデル能力劣化を検知するプローブまで組み込んだ設計は、プロダクション環境への投入を強く意識したものだ。