【要約】Claude Fable 5.1、キャッシュ読みは4分の1。ただし tool_choice が400を返す [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
開発者がClaude Fable 5.1へ移行する際、API仕様の変更による実装の破損や、予期せぬコスト増に直面するリスクがある。特にエージェント開発では、モデルの挙動変化がシステム設計に影響を及ぼす。
- ・tool_choiceにanyやtoolを指定すると400エラーが発生する。
- ・以前のモデルが5.1のthinkingブロックを読み取れない。
- ・公式ドキュメントの脚注と価格表に矛盾があり、見積もりが4倍ずれるリスクがある。
- ・並列ツール呼び出しの減少により、ターン数が増加する可能性がある。
// Approach
筆者は新モデルの特性を正確に把握するため、仕様変更の特定、ベンチマーク比較、および実測による検証を行った。公式ガイドと実機検証を組み合わせ、理論値と実態の乖離を明らかにしている。
- ・公式ガイドに基づき、破壊的変更と挙動の変化を分類。
- ・Fable 5と5.1のベンチマーク（Terminal-Bench等）を比較。
- ・同一手順によるキャッシュヒット率の比較実験を実施。
- ・価格表と脚注の矛盾を特定し、正しい価格設定を検証。
// Result
Fable 5.1は科学系エージェントの性能が倍増し、キャッシュコストも大幅に改善された。しかし、実測ではキャッシュヒット率が低下する現象が確認された。
- ・科学系ベンチマーク（Terminal-Bench-Science）が24.7%から52.6%へ向上。
- ・キャッシュ読みの単価が$1.00から$0.25へ値下げ。
- ・実測では、Fable 5が12回連続ヒットしたのに対し、5.1は18回中13回ミスした。
- ・知識カットオフが2026年6月へと更新された。
Senior Engineer Insight
> キャッシュコストの激減は魅力的だが、実測でのヒット率低下は致命的なコスト増を招く恐れがある。特にエージェント構成では、並列呼び出しの減少によるターン数増加も無視できない。移行時はtool_choiceの修正を最優先し、キャッシュ挙動の再検証を必ず行うべきだ。安易な差し替えは、計算外のトークン消費とレイテンシ悪化を招く。