【要約】claude -pに「ステップバイステップで考えて」と一言足したら、応答の文字数が3倍近くになった [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
AIへの指示の出し方が、実際の出力結果にどのような影響を与えるのか、定量的なデータが不足していた。開発者はプロンプトの微調整が、応答の「質」や「量」にどう作用するかを正確に把握できていなかった。
- ・プロンプトの変更による出力形式の変化。
- ・指示の追加がもたらすリソース消費への影響。
// Approach
筆者は、Claude CodeのCLIを用いて、指示の有無による応答の変化を実験的に検証した。同一のタスクに対し、思考手順を明示する指示を加えたパターンと加えないパターンで比較を行った。
- ・Pythonによる素数判定関数の作成を共通タスクに設定。
- ・
--output-format jsonを用い、結果を機械的に集計。 - ・文字数、説明文、箇条書き、所要時間の4指標を測定。
// Result
実験の結果、指示の追加によって応答の「形」が劇的に変化することが確認された。これは単なる誤差ではなく、統計的に有意な差として現れている。
- ・応答全体の文字数が平均392字から1074字へ、約3倍に増加。
- ・説明文の文字数が大幅に増え、箇条書きの活用も顕著になった。
- ・生成時間は約2倍に伸びたが、これは出力増に伴うものと推測される。
Senior Engineer Insight
> 本件は、プロンプトによる出力制御の重要性を示している。思考過程の明示は、コードの意図解釈を助け、開発体験を向上させる。しかし、トークン消費量とレイテンシの増大は避けられない。大規模な自動化パイプラインへの組み込みには、コスト対効果の慎重な判断が必要だ。用途に応じて指示を使い分けるべきである。