【要約】Claude Fable 5.1、2ターン目のキャッシュに12回中8回乗り損ねた [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
検証者がClaude Fable 5.1のコスト効率を検証した際、キャッシュの挙動に重大な不安定性を見出した。キャッシュを利用することで大幅なコスト削減が期待されていたが、実際には以下の問題が発生している。
- ・キャッシュのヒット率が安定せず、成功時と失敗時で極端に挙動が分かれる。
- ・キャッシュに失敗した場合、約50,000トークンの再書き込みが発生する。
- ・キャッシュの成否により、1ターンあたりのコストに約$1.00の差が生じる。
// Approach
検証者はClaude Codeを用い、キャッシュのヒット率とコストへの影響を定量的に評価した。以下の手順で測定を実施している。
- ・
--output-format jsonを使用し、キャッシュのトークン数を正確に取得。 - ・初回実行から継続セッションへの遷移を12回繰り返し、ヒット率を算出。
- ・比較対象として、Opus 5およびSonnet 5の挙動も同時に測定。
- ・キャッシュ成立までの待ち時間（45秒）による影響についても検証を実施。
// Result
検証の結果、Fable 5.1のキャッシュは極めて不安定な挙動を示すことが明らかになった。測定結果の詳細は以下の通りである。
- ・12回の試行中、キャッシュに乗ったのは4回、外れたのは8回であった。
- ・ヒット率は約99.6%（成功）か約39%（失敗）のいずれかに極端に振れる。
- ・Opus 5やSonnet 5は、ほぼ確実にキャッシュを利用できた。
- ・キャッシュ失敗時は、成功時と比較して1ターンあたり約$1.00のコスト差が生じる。
Senior Engineer Insight
> コストの不確実性が極めて高い。キャッシュが効けばOpus 5の半額だが、外れると書き直しコストで割高になる。本番環境での利用には、キャッシュの成否を制御するか、挙動が安定するまで待機すべきである。現時点では、コスト予測が困難なため、大規模な自動化パイプラインへの組み込みは推奨できない。