【要約】AgentCoreハーネス、プロンプトキャッシュが効かなくなくなくない？ [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
開発者がAWS AgentCoreハーネスを用いてLLMエージェントを構築する際、プロンプトキャッシュが適用されない問題に直面する。マネージドな環境下では、以下の課題が存在する。
- ・AgentCoreハーネスの標準構成では、プロンプトキャッシュが有効にならない。
- ・ハーネス環境のままでは、モデルの初期化コードを直接カスタマイズできない。
// Approach
開発者はAgentCore CLIを用いてハーネスのコードをローカルへエクスポートし、Strands Agentsのソースコードを直接修正する手法を採用した。
- ・
agentcore export harnessコマンドでハーネスをエクスポートする。 - ・
model/load.pyを編集し、BedrockModelの引数にcache_tools="default"とcache_config=CacheConfig(strategy="auto")を追加する。 - ・修正したコードを
agentcore deployによりAgentCoreランタイムへデプロイする。
// Result
修正後のエージェントをデプロイすることで、Claudeのプロンプトキャッシュが正常に機能することを確認した。
- ・プロンプトキャッシュの有効化により、LLMの応答性能とコスト効率の向上が期待できる。
- ・デプロイ先がハーネスからランタイムへ変更されるため、呼び出し構成の再検討が必要となる。
Senior Engineer Insight
> 本手法は、マネージドサービスの利便性と最適化のトレードオフを浮き彫りにしている。プロンプトキャッシュによるコスト削減と低レイテンシは、大規模運用において不可欠である。しかし、ハーネスからランタイムへの移行は、呼び出しインターフェースやセキュリティ設計の変更を伴う。単なる回避策ではなく、エージェントの運用フェーズに応じたデプロイモデルの選択として評価すべきである。