【要約】CLI 上の Claude Code で Computer Use を再現する（追加課金ゼロ、441 行のエージェント） [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
QAエンジニアが、AIによるGUI操作（Computer Use）を試したいと考えている。しかし、APIの従量課金コストが無視できない点が課題となっている。具体的には以下の問題に直面している。
- ・API利用による高額なコスト（1実行あたり$0.3〜0.8の見積もり）。
- ・完全無人動作による、予期せぬ操作に対する安全性の欠如。
- ・高解像度画像送信に伴う、膨大なトークン消費。
// Approach
開発者は、Claude Codeの対話セッションを「頭脳」として利用する手法を採用した。APIを直接呼ばず、既存のサブスク枠内で完結させる設計である。
- ・snap.py: 画像を1366x768にリサイズして保存し、トークン消費を抑制。
- ・act.py: pyautoguiで操作を実行。DPI awarenessにより座標ズレを防止。
- ・安全機構: 秘匿情報の入力拒否や、Bash実行時の人間による承認UIを活用。
- ・思考プロトコル: 「検証/予測」の出力を強制し、モデルの自己修正能力を向上。
// Result
開発者は、追加課金ゼロでWindows GUIの自律操作を実現した。実機検証により以下の成果が得られている。
- ・実装規模は441行と極めて軽量。
- ・メモ帳への入力タスクを、約4.1Kトークンの消費で完遂。
- ・「予測と不一致」が発生した際の、自動リカバリ動作も確認済み。
Senior Engineer Insight
> コストと精度のトレードオフを、既存のサブスクリプション枠内で解決した点が極めて合理的だ。API課金を回避しつつ、Claude Codeの承認UIを安全装置として転用する設計は、実務の検証フェーズとして非常に優秀である。ただし、座標精度や完全無人化の限界は明確だ。本番環境への投入には、Playwright等のDOMベース手法との使い分けが不可欠となるだろう。