【要約】GPT-6 Astra、ARC-AGI-3で99.9%──なぜこれから「プロンプト」より「エージェントアーキテクチャ」が重要になるのか [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
AI開発において、モデルの知能向上のみに注力し、システムとしての実効性能を見落とす課題がある。従来のAI活用では、より賢いモデルと優れたプロンプトの組み合わせに依存してきた。しかし、これだけでは未知の環境への適応には限界がある。
- ・モデル単体の性能と、システム全体の実効性能が一致しない。
- ・未知の環境でルールを自律的に発見する能力が不足している。
- ・単発の推論では、失敗後の修正や継続的な学習が困難である。
// Approach
ARC Prizeは、モデルの能力を最大限に引き出すため、評価の仕組み（harness）を最適化するアプローチを採用した。具体的には、モデルを単発の推論で終わらせず、継続的に動かすための「エージェントアーキテクチャ」を導入している。
- ・Provider Adapter harnessの採用。
- ・opaque reasoning state（推論状態）の保持による継続的な推論。
- ・compaction（情報の圧縮）による長い会話の再利用。
- ・観察、推論、行動、結果観察、情報の記録というループの構築。
// Result
ARC Prizeによる検証の結果、エージェント設計の有効性が定量的に示された。同一モデルであるGPT-6 Astraを用いても、仕組みを変えるだけでスコアが劇的に向上した。
- ・ARC-AGI-3 Semi-Privateで99.9%を達成。
- ・Standard harnessでの62.7%から大幅に改善。
- ・解決したタスクの96%において、人間の中央値より少ないアクション数で完遂。
- ・「モデル性能 ≠ システム性能」という設計指針を提示した。
Senior Engineer Insight
> 開発の焦点が「プロンプト」から「アーキテクチャ」へ移行している。単なるLLMの呼び出しではなく、実行結果の観測、状態の保持、再計画のループを組み込んだシステム設計が不可欠となる。これは、スケーラブルなAIエージェント開発において、運用コストと信頼性を左右する極めて重要な設計領域である。