【要約】claude -pに全く同じ質問を10回投げたら、速さと長さは毎回違うのにモデルだけは1回も揺れなかった [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者がClaude Codeを自動化プロセスに組み込む際、応答の挙動が予測可能かという課題がある。バッチ処理の設計において、以下の点が懸念される。
- ・処理時間の見積もり：実行時間が一定でないと、タイムアウト設計が困難になる。
- ・後処理の設計：応答の長さに依存するロジックは、文字数の変動により失敗する恐れがある。
- ・モデルの特定：標準出力（plain）では、実際にどのモデルが応答したかを判別できない。
// Approach
筆者は、Claude CodeのCLIモードを用いて、同一のプロンプトを10回連続で実行する検証を行った。検証の詳細は以下の通りである。
- ・実行コマンド：
claude -p "<プロンプト>" --output-format jsonを使用した。 - ・記録項目：所要時間(duration_ms)、ターン数(num_turns)、応答本文(result)、モデル使用量(modelUsage)を収集した。
- ・モデル特定手法：
modelUsage内の各モデルのinputTokensと、トップレベルのinput_tokensを照合してメインモデルを特定した。
// Result
10回の実測により、指標ごとに「揺れ」の性質が異なることが明らかになった。結果は以下の通りである。
- ・変動する指標：所要時間（2424〜3118ms）、応答文字数（89〜106字）、補助モデルの有無。
- ・固定される指標：ターン数（1回）、メイン応答モデル（claude-sonnet-5）、エラーの有無。
- ・結論：メインモデルは安定しているが、実行時間や補助モデルの挙動は不安定である。そのため、時間や文字数に依存した厳密な条件分岐は避けるべきである。
Senior Engineer Insight
> LLMを用いた自動化設計では、非決定的な要素を前提とした設計が不可欠である。メインモデルが固定されていても、実行時間や補助モデルの動的な挙動は制御不能である。したがって、タイムアウト設定やパース処理には十分なマージンを持たせるべきだ。また、モデルの正確な特定には、標準出力ではなくJSON形式のメタデータを活用することが実務上の定石となる。