【要約】4文字でLLMを命令したら、命令の意図を超えた判断をした [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者がLLMを用いて複雑なタスクを自動化しようとする際、自然言語によるプロンプト制御には以下の課題が存在する。
- ・コンテキストウィンドウの汚染：指示文や役割定義が大量のトークンを消費し、対象コードへの注意力が分散する。
- ・実行フローのブラックボックス化：プロンプト内に分岐ロジックが埋め込まれるため、外部から処理順序を監視できない。
- ・制御の困難さ：LLMが指示の順序を自律的に解釈しすぎ、意図しない挙動を示す。
// Approach
著者は、LLMを「演算装置（ALU）」、外部プログラムを「制御装置（CPU）」と定義する、スタックマシン型のアーキテクチャ「TOA」を採用した。
- ・4文字パケット命令：
s4x9（ドメイン、コンテキスト、アクション、優先度）のような極小命令でLLMへ指示を出す。 - ・フロー制御の分離：条件分岐やループはPython側のスタックマシンが担当し、LLMは目の前の1命令のみを実行する。
- ・CPL（Context-Pointer Language）：レジスタ間の関係性を定義し、論理的な矛盾を検知する仕組みを導入する。
// Result
TOAの実装により、LLMが命令の前提を自律的に修正し、より正確なタスクを実行できることが示された。
- ・命令の超克：XSSスキャン命令に対し、ClaudeがSQLiの脆弱性を検出し、適切な修正を提案した。
- ・モデル特性の定量化：ClaudeとCodexの挙動の違いを、命令テープを通じて比較可能にした。
- ・制御性の向上：LLMの「確率的」な判断を、外部の決定論的なフローで管理する基盤を構築した。
Senior Engineer Insight
> LLMを「自然言語のインターフェース」から「命令セットに基づく演算器」へ転換する発想は、極めて合理的だ。プロンプトの肥大化によるレイテンシ増大や精度低下を防ぐ観点から、大規模な自動化パイプラインにおいて強力な武器となる。ただし、モデルの「性格」が実行結果に直結するため、CI/CDへの組み込みにはモデルごとの振る舞いの厳密なプロファイリングが不可欠だ。