【要約】【Strands Agents classifier】AIエージェントの危ないツール呼び出しだけ止めたい [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
AIエージェントの開発者が、自律的なツール実行における安全性と利便性のトレードオフに直面している。従来の仕組みでは、以下の課題により運用効率が低下する。
- ・allowed_toolsによる制限はツール名単位であり、引数の内容に応じた粒度の細かい制御ができない。
- ・安全な操作（例：/tmp配下の削除）であっても、ツール名が制限対象であれば毎回人間の承認が必要となる。
- ・ツール名だけで判断するため、操作対象のパスが持つ意味的な危険度を考慮できない。
// Approach
開発者がStrands Agents SDKの新機能を用い、ツール呼び出しの引数に基づいた動的なリスク判定を試行した。具体的には以下の手法をとっている。
- ・classifier=Trueを設定し、内部で専用のLLMエージェントを起動して判定を行う。
- ・LLMClassifierConfigを使用し、システムプロンプトによってリスク判定の基準をカスタマイズする。
- ・決定論的な制御が必要な場合に備え、AgentCore Policy（Cedar言語）との使い分けを検討する。
// Result
検証を通じて、LLMによる文脈判断の有用性と、実運用における制約が明らかになった。
- ・柔軟な運用：/tmp配下の削除などは承認なしで通過させるなど、状況に応じた判断が可能となった。
- ・判定の安定性：/etc配下等の明確な境界では高い精度を示すが、/opt/app/cache等の曖昧なパスでは判定が割れる。
- ・パフォーマンス：ツール呼び出しごとに平均約3.3秒のレイテンシ増が発生する。
- ・結論：Classifierは「曖昧なリスク」の補助として使い、絶対的な境界には決定論的な仕組みを併用すべきである。
Senior Engineer Insight
> 柔軟性と引き換えに、レイテンシ増と非決定論的な挙動というコストを支払う必要がある。実戦投入においては、全ての判定をLLMに委ねるべきではない。定型的なルールはカスタム関数やAgentCore Policyで高速かつ確実に処理し、LLM classifierは「判断が難しい境界線」の補助としてのみ利用する多層防御設計が不可欠である。